![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 75
淇怪君
love life and technology
展开
-
PySpark ——Python API for Spark 小结
union 取并集 1 2 3 rdd = sc.parallelize([1, 1, 2, 3]) rdd.union(rdd).collect() [1, 1, 2, 3, 1, 1, 2, 3] jo原创 2017-02-01 19:31:53 · 1214 阅读 · 0 评论 -
pyspark 经常遇到的问题
problem One py4j.java_gateway: ERROR Error while sending or receiving. 12345678910111213141516171819202122232425262728293031323334353637383940414243原创 2017-02-01 19:30:32 · 6032 阅读 · 2 评论 -
PyCharm 使用 Spark
Step 1 搭建spark 环境,spark 环境搭建请参考在单机上安装Spark Step 2 进入spark安装目录:spark安装目录/python/lib 找到 py4j-0.8.2.1-src.zip 压缩包,如下图所示 解压缩 py4j-0.8.2.1-src.zip 压缩包 得到名为 py4j 的文件夹 复制 py4j 文件夹 到python目录下python的原创 2017-02-01 19:30:02 · 4836 阅读 · 0 评论