- 博客(2)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 通过Spark访问Hbase的Hive外部表（hive on hbase的表）
业务处理的过程中，使用到pyspark访问hive，直接访问没有问题， 后面遇到使用pyspark访问hive关联hbase的表（hive on hbase），就出现报错了。 首先集群已经可以通过spark-sql读取hive的数据，然后进行如下配置。 1.拷贝如下jar包到${spark_home}/jars（spark2.0之前是${spark_home}/lib）: hba...
2020-02-24 15:16:05
2757
3
原创 pyspark读取hive数据写入到redis
1、首先把redis包引入工程，这样就不需要在集群里每台机器上安装redis客户端。 $pip install redis $cd /usr/local/lib/python3.6/dist-packages/ 找到自己环境的路径 $zip -r redis.zip redis/* $hadoop fs -put redis.zip /user/data/ 2、在代码里使用 addPyFile加...
2020-02-19 10:57:55
3735
2
Python深度学习（Deep Learning With Python中文版）
本书由Keras之父、现任Google人工智能研究员的弗朗索瓦•肖莱（François Chollet）执笔，详尽介绍了用Python和Keras进行深度学习的探索实践，包括计算机视觉、自然语言处理、产生式模型等应用。书中包含30多个代码示例，步骤讲解详细透彻。由于本书立足于人工智能的可达性和大众化，读者无须具备机器学习相关背景知识即可展开阅读。在学习完本书后，读者将具备搭建自己的深度学习环境、建立图像识别模型、生成图像和文字等能力。
2018-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人