spark入门
文章平均质量分 50
IWantT0
记录自己的成长的历程。——2018年10月26日
展开
-
Spark入门——SparkContext启动详解
SparkContext是Spark程序的入口。所以了解SparkContext的启动过程很有必要,SparkContext初始化过程主要干了如下几件事情: 根据SparkContext的构造参数SparkConf创建SparkEnv 创建TaskScheduler,并初始化 创建DAGScheduler 初始化SparkUI 还没写完。。。。原创 2017-10-01 21:24:35 · 718 阅读 · 0 评论 -
Spark:宽依赖(shuffle dependency)和窄依赖(narrow dependency)
宽依赖是指父RDD的每个分区都可能被多个子RDD分区使用。 窄依赖是指父RDD的每个分区只被某一个子RDD分区使用。转载 2017-10-01 15:59:38 · 1488 阅读 · 0 评论 -
Spark源码分析——Spark整体架构
Spark源码分析——Spark架构常用术语 术语 描述 Application 用户编写的程序。(Driver端的SparkContext、SparkConf和运行在Executors上用户编写的业务逻辑代码即map、reduce、reduceByKey等) Driver 执行用户编写应用程序的main()方法并创建SparkContext Worker 具体运行应用原创 2017-10-01 14:02:53 · 538 阅读 · 0 评论