知识点复习
勇者无畏强者无敌
这个作者很懒,什么都没留下…
展开
-
spark core复习-2
day1112 1.spark core复习 任务提交 缓存 checkPoint 自定义排序 自定义分区器 自定义累加器 广播变量 Spark Shuffle过程 SparkSQL 一. Spark Core回顾 1 集群启动 Spark集群启动流程: 1、调用start-alsh脚本,开始启动Master 2、Maste...原创 2019-11-12 20:41:44 · 135 阅读 · 0 评论 -
spark core复习-1
Day1111 Spark任务调度: Spark几个重要组件: Spark Core RDD的概念和特性 生成RDD的两种类型 RDD算子的两种类型 算子练习 分区 RDD的依赖关系 DAG:有向无环图 任务提交 缓存 checkPoint 自定义排序 自定义分区器 自定义累加器 广播变...原创 2019-11-11 20:46:01 · 225 阅读 · 1 评论