![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
般涉调16
这个作者很懒,什么都没留下…
展开
-
【python】spark基础操作相关参考博客
spark(python)基础操作相关参考博客 【Spark机器学习速成宝典】基础篇02RDD常见的操作(Python版): https://www.cnblogs.com/itmorn/p/7993517.html 弹性分布式数据集(RDD): https://www.cnblogs.com/adienhsuan/p/5654485.html Spark中的键值对操作-scala: https:...原创 2019-06-03 15:46:00 · 167 阅读 · 0 评论 -
【python】spark基础应用记录01
最近开始做spark的期末作业了,记一下一些实验里反复用到的操作技巧,非常个人向,很多记录语言。 操作主要基于Linux的小黑框,没有采用脚本运行。 读入数据 本地数据读取 sc.textFile("file:///localhost/text.txt") 千万记得使用 file:// 在本地地址的前面,否则就会报错。 这样提取出来的数据已经是RDD了,每个算子是文件里的一行形成的字符串。 H...原创 2019-05-23 17:31:53 · 160 阅读 · 0 评论