spark
qq_20488317
这个作者很懒,什么都没留下…
展开
-
spark No module named numpy
提交spark的时候报错解决方法:1,首先pyspark尝试import numpy.发现报错:“No module named numpy”2, 上面的错误表示当下的python没有安装numpy,安装即可。3,一般情况下不需要安装的,该机器下应该有多个版本的python.whereis python找到各个版本的python,依次查看是否安装了numpy.4,找到安装numpy的python...原创 2018-05-01 19:01:21 · 4472 阅读 · 0 评论 -
spark saveAsTextFile too slow
saveAsTextFile很慢,一个文件saveASText要15分钟以上,解决思路:1、配置文件:查看spark-submit的参数 如截图,查看一下这些配置是否设置的过小 2、代码(python)df.rdd.map(lambda x: (random.randint(1, 10240), x)).partitionBy(128).map(lambda (r, x): "%s"...原创 2018-05-21 13:11:00 · 2258 阅读 · 2 评论