Spark
文章平均质量分 66
金帛文武在南京
这个作者很懒,什么都没留下…
展开
-
spark集群1.6.2升级为2.0.2
参考文档http://dblab.xmu.edu.cn/blog/1187-2/ Spark 2.0分布式集群环境搭建 http://blog.csdn.net/andy572633/article/details/7211546 linux下杀死进程(kill)的N种方法更改原有spark目录名可提前stop-all 将原有的spark改为spark1.6.2sudo mv /usr/lo原创 2017-01-05 11:03:37 · 2423 阅读 · 0 评论 -
Hadoop集群redhad离线安装Hive
参考文档http://dblab.xmu.edu.cn/blog/install-hive/ Ubuntu安装hive,并配置mysql作为元数据库 http://www.bkjia.com/Mysql/1093428.html Your password does not satisfy the current policy requirements,hy000satisfyHive安装Hi原创 2017-01-05 11:23:59 · 1058 阅读 · 0 评论 -
rdd不能嵌套rdd
df_all.show()a = [(1,df_all)]rdd = sc.parallelize(a)报错Py4JError: An error occurred while calling o131.__getnewargs__. Trace:py4j.Py4JException: Method __getnewargs__([]) does not exist原创 2017-06-02 09:20:18 · 4558 阅读 · 0 评论