![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark算子
程序猿小飞
做好自己该做的事。
展开
-
spark的算子全解
https://blog.csdn.net/qq_32595075/article/details/79918644?tdsourcetag=s_pcqq_aiomsg转载 2019-03-04 09:16:09 · 71 阅读 · 0 评论 -
map和maptopair的区别
maptopair是作用在Java代码中map作用在Scala代码中两者的作用是:都对rdd进行处理。在Wordcount中,初步都是进行处理成(k,1)的形式,然后在排序之前,往往按照tuple的形式进行处理,也就是将(k,v)——>(v,k)的形式。排序完成之后,再次将(v,k)的形式转换成(k,v)的形式。...转载 2019-03-09 09:55:55 · 1336 阅读 · 0 评论 -
Spark中DataFrame的schema讲解
1.Schema是什么DataFrame中提供了详细的数据结构信息,从而使得SparkSQL可以清楚地知道该数据集中包含哪些列,每列的名称和类型各是什么,DataFrame中的数据结构信息,即为schema。2.输出schema 还是用官网中的people.json的文件,输出schema,看看schema到底长什么样子。people.json文件的show()在上一篇文章中已经写到,...转载 2019-03-22 17:55:00 · 1442 阅读 · 0 评论