![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pyspark
文章平均质量分 76
一条水里的鱼
这个作者很懒,什么都没留下…
展开
-
Spark性能优化指南——基础篇
pysaprk原创 2022-06-19 18:08:55 · 263 阅读 · 0 评论 -
利用spark UI 定位spark 运行慢的原因
spark性能原创 2022-06-19 17:50:34 · 2930 阅读 · 3 评论 -
pyspark的dataframe与rdd使用示例
pyspark rdd使用示例官网:http://spark.apache.org/docs/latest/api/python/reference/api/pyspark.RDD.html#pyspark.RDD1、读数据schema = ('user_id', 'item_id','click_lis','scores')data = [('u1', 'i1',['i1','i3','i2'],'0.6'),('u1', 'i2',['i1','i3','i2'],'0.7'),('u1',原创 2021-07-21 16:45:11 · 923 阅读 · 0 评论