第3期Spark纯实战公益大讲坛：通过案例实战掌握Spark内核运行内幕

最新推荐文章于 2016-01-14 12:05:28 发布

段智华

最新推荐文章于 2016-01-14 12:05:28 发布

阅读量998

点赞数

分类专栏： Spark 学习

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/47858473

版权

Spark 学习专栏收录该内容

10 篇文章 1 订阅

订阅专栏

第3期Spark纯实战公益大讲坛：通过案例实战掌握Spark内核运行内幕

sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)).
sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://...")

深入剖析运行的stage

sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)).
sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://...")

1 Driver program (sc)->cluster manager - worker executor
2 block 为128M,大的文件拆分成几个block，block最后的一行记录如分布在前后2个block，前面一个block会多处理一些记录
3 在spark 可视化视图可以查看stage的流程

DT大数据微信公众账号：DT_Spark

DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#category/type=0&qq-pf-to=pcqq.group