大数据开发
qq_42187284
这个作者很懒,什么都没留下…
展开
-
Spark map 和 flatMap 区别
Spark map 和 flatMap 区别map: 对RDD每个元素转换flatMap: 对RDD每个元素转换, 然后再扁平化(即将所有对象合并为一个对象)Example:data 有两行数据:a,b,c1,2,3scala>data.map(line1 => line1.split(",")).collect()res11: Array[Array[String]]...转载 2019-10-27 16:10:32 · 117 阅读 · 0 评论 -
Spark RDD求TOPN
Spark RDD求TOPN原创 2019-10-27 15:59:26 · 588 阅读 · 0 评论 -
**(centos虚拟机向yarn提交wordcount任务卡在running)**
(centos虚拟机向yarn提交wordcount任务卡在running)可能的原因是安装了太多东西,可以尝把上传的到虚拟机的安装包删除掉。我删除之后,多了几百兆的空间,可以正常向yarn提交任务。...原创 2019-09-06 22:43:42 · 173 阅读 · 0 评论