spark2.0从入门到精通(一)

。RDD介绍

。Spark基本工作原理

。Spark开发入门

              。编写WorkCount程序

              。使用本地模式进行测试

              。使用spark-submit提交到集群运行(spark-submit仓用参数说明)

              。Spark程序开发流程总结

              。sark-shell的使用(编写workcount程序)

。创建rdd:并行化集合,基于文件创建rdd

。操作rdd:transformation和action,java8和旧版本的区别,操作key-value对

。RDD常用操作全程案例实战

。rdd持久化:cache()和persist(),几种持久化策略

。共享变量:broadcast variable,accumulator

。rdd高级编程:基于排序算法的wordcount,二次排序,topn,combineByKey

spark内核概览

            。spark内核概览

             。spark工作流程

             。spark运行模式

。sparkContext原理剖析与源码分析

。job出发流程原理剖析与源码分析

。Master原理剖析(资源调度算法)

             。高可用机制原理剖析

             。注册机制原理剖析

             。executor失败容错直至原理剖析

             。资源调度算法剖析

。Worker原理剖析

。DAGScheduer原理剖析

            。stage划分算法

。TaskScheduler原理剖析

           。task分配算法

。Executor原理剖析

。shuffleMap和resultTask原理剖析

。shuffle原理剖析

。storage模块原理剖析

            。BlockManager原理剖析

            。Cache原理剖析

            。Checkpoint原理剖析

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值