![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据C位
文章平均质量分 74
云上的听者
不要想第一步就踏上人生的金砖,哪怕是坎坷、荆棘、泥淖,只管大胆地踏出,当你终于踏上属于你的那块金砖,回首顾盼,步步都是金砖;滴水穿石,不是力量大,而是功夫深!!!
展开
-
spark 画图详解:资源调度再到任务调度
讲说spark的资源调度和任务调度,基本的spark术语,这里不再多说,懂的人都懂了。。。按照数字顺序阅读,逐渐深入理解:以下所有截图均为个人上传,不知道为什么总是显示别人的QQ,好尴尬,无所谓啦,开始吧~~1 宽窄依赖与Stage划分:上熟悉的图: 在 Spark 里每一个操作生成一个 RDD,RDD 之间连一条边,最后这些 RDD 和他们之间的边组成一个有向无环图,这个...原创 2018-10-11 17:09:06 · 2802 阅读 · 0 评论 -
实用详解spark的读取方法textFile和wholeTextFiles
谈清楚区别,说明道理,从案例start:1 数据准备用hdfs存放数据,且结合的hue上传准备的数据,我的hue截图: 每个文件下的数据: 以上是3个文件的数据,每一行用英文下的空格隔开; 2 测试 sc.textFile()和sc.wholeTextFiles()的效果testFIle() 如图: ...原创 2018-10-10 14:56:39 · 2845 阅读 · 0 评论