![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
willdeamon
这个作者很懒,什么都没留下…
展开
-
python 创建egg
最近需要使用spark 运算数据,我是个Pythoner,自然用的是pyspark啦!其中遇到一个问题,就是自己写的一些package,在spark中的map,reduce中并不能引用这个包里的函数。查文档说是要把python 的package打包成egg,再提交上去才能正确引入。上网查询了下python 打包,现在都是用setuptools,直接在package下穿件一个原创 2016-11-14 15:37:23 · 2378 阅读 · 0 评论 -
pyspark map,reduce接收参数
查看spark官方档,发现map, reduce的方法都指定只能代如固定一个参数(map)或者两个参数(reduce)现在工作发现,想要多把代入参数到map,和reduce的方法里面.查了下,发现以下方法。先定义一个函数:def func(a, extra_para): k = a + extra_para return k然后map 的时候:rd原创 2016-11-14 16:16:48 · 8927 阅读 · 1 评论