![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark学习
weixin_42521881
这个作者很懒,什么都没留下…
展开
-
Spark scala api(二)键值对操作
创建Pair RDD 很多存储键值对的数据格式会在读取时直接返回由其键值对数据组成的pair RDD 当需要把一个普通RDD转化而pair RDD时,可以使用map函数 //使用第一个单词作为键创建pair RDD val pairs = lines.map(x => (x.split(" "))(0), x) Pair RDD的转化操作 Pair RDD也还是RDD,同样支持RDD所支持...原创 2019-03-06 11:14:36 · 297 阅读 · 0 评论 -
Spark scala api(一)RDD编程
基础 初始化spark val conf = new SparkConf().setAppName("wordcount") val sc = new SparkContext(conf) 转化操作和行动操作的区别在于spark计算rdd的方式不同,只有在第一次在一个行动操作中用到转化操作中的rdd时,才会真正计算这些rdd。 创建rdd // 驱动器程序对一个集合进行并行化 val lines...原创 2019-03-04 14:15:26 · 452 阅读 · 0 评论