![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pyspark
还是小白的鹏哥
这个作者很懒,什么都没留下…
展开
-
通过pyspark提交多个执行文件和文本文档
通过pyspark提交多个执行文件和文本文档直接上代码spark-submit –master yarn-cluster –conf spark.pyspark.python=/opt/Anaconda3/bin/python3 –conf spark.pyspark.driver.python=/opt/Anaconda3/bin/python3 –py-files /home/de...原创 2018-12-12 17:59:10 · 4917 阅读 · 1 评论 -
pyspark dataframe实现行循环,调用Python 实现大批量小文件处理,对大批量用户实现用户画像
pyspark dataframe实现行循环,调用Python 实现大批量小文件处理,对大批量用户实现用户画像适合应用场景集群处理大批量的小文件,如需要对1000万用户构建用户画像,每个用户的数据不大有几百M(单机Python能处理的程度),可以这么调用,而且之前写的单Python代码直接复制粘贴稍微改动就可以直接用直接上代码# -*- coding: utf-8 -*- # @Time...原创 2019-06-06 13:19:57 · 5439 阅读 · 0 评论