Spark基础及源码分析视频-杨千锋-专题视频课程

Spark基础及源码分析视频—1420人已学习
课程介绍    

    本视频面向拥有Java语言基础的同学，以Java语言为蓝本，深入浅出的讲解scala语言的语法和特征，并应用scala语言，讲解spark生态系统下的大数据开发技术。视频讲解与实例练习相结合，通过看视频也能保证知识得到充分的实践，知识掌握更牢靠。语言部分由浅入深，使得学生可以胜任项目中的开发之外，还可以读懂Spark源码，为以后研究Spark架构和自己编写架构奠定扎实的基础。
课程收益
    在综合案例实现过程中，通过使用Akka通信模型实现RPC远程通信框架，这样既可以深入了解Spark的通信机制。通过学习scala语言部分的课程，学生能够具备一名中级scala开发工程师水平。在Scala语言的基础上，深入理解Spark常用算子和高级算子的使用场景，使得学生在以后的开发过程中能够灵活运用Spark核心技术。深入讲解Spark源码和Spark框架，从内到外。
讲师介绍
    杨千锋 更多讲师课程
    十余年计算机技术领域从业经验，在中国电信、盛大游戏等多家五百强企业任职技术开发指导顾问，国内IT技术发展奠基人之一。
课程大纲
  第1章:Scala语言环境安装、Scala的基本语法
    1. 认识scala  9:06
    2. 安装开发环境  5:41
    3. scala的7种值类型和条件表达式  8:07
    4. for循环  12:50
    5. 方法和函数的声明以及方法转换成函数  17:36
    6. 数组  20:10
    7. 映射  8:37
    8. 元组  12:15
    9. 集合之seq  18:09
    10. 集合之set  7:31
    11. 集合之map  5:27
  第2章:常用方法练习
    1. lazy关键字  10:39
    2. 函数式编程练习之常用方法  25:51
    3. 函数式编程之reduce  14:06
    4. 函数式编程之fold  8:16
    5. 函数式编程之aggregate  6:54
    6. 数式编程之交并差集  2:54
    7. scala实现wordcount  18:58
  第3章:面向对象、模式匹配
    1. 创建类、属性  20:16
    2. 构造器、辅助构造器  20:14
    3. 单例对象  14:46
    4. 伴生对象  10:05
    5. apply和unapply方法  22:40
    6. private关键字  14:16
    7. 特质、抽象类、继承、重写、实现等  19:37
    8. 模式匹配之匹配字符串  9:01
    9. 模式匹配之匹配类型  6:49
    10. 模式匹配之匹配数组、元组、集合  18:19
    11. 模式匹配之样例类  8:50
    12. 模式匹配之偏函数  8:17
  第4章:Actor、柯里化、隐式转换
    1. 作为值的函数  7:41
    2. 柯里化概念及声明方式  17:08
    3. 柯里化练习  10:19
    4. 隐式转换和隐式参数  10:54
    5. 隐式转换练习  14:11
    6. 隐式转换练习  17:56
    7. 泛型  11:35
    8. UpperBound  12:20
    9. ViewBound  15:48
    10. ContextBound  10:12
  第5章:泛型、Akka
    1. Actor概念  10:07
    2. Actor实例之创建Actor  7:21
    3. Actor实例之消息的接收与发送（异步没有返回值）  19:27
    4. Actor实例之消息的接收与发送（同步有返回值）  4:29
    5. Actor实例之消息的接收与发送（异步有返回值）  8:11
    6. Actor实例之并行编程思想实现单词计数  30:00
    7. Akka简介  9:50
    8. Akka案例需求分析  7:41
    9. Akka案例代码分析  20:35
  第6章:Spark集群安装、Spark任务提交、Spark实现WordCount并上传任务
    1. spark简介  11:13
    2. spark集群搭建、启动  6:20
    3. spark Shell.启动和提交任务  11:46
    4. spark Wordcount  18:55
    5. 上传并执行任务  12:28
  第7章:RDD的基本概念、常用算子练习
    1. rdd的概念  12:50
    2. 生成rdd的两种方式  5:11
    3. 两种类型的算子：transformation和action  18:17
    4. 常用算子练习1-1  24:05
    5. 常用算子练习2-1  16:33
  第8章: 案例练习
    1. 案例需求-求用户在某基站停留的时间  12:32
    2. 案例实现-求用户访问学科的子网页top  8:09
    3. 案例实现-求用户访问学科的子网页top3-chache、自定义分区器  18:53
  第9章:Spark集群启动流程和任务提交流程、案例练习
    1. spark集群启动流程  0:01
    2. spark任务提交流程  5:25
    3. wordcount中创建了那些rdd  12:40
    4. 案例分析实现-按照ip统计区域访问量  21:33
  第10章:RDD的依赖关系、Stage划分、任务的生成、自定义排序
    1. rdd之间的依赖关系  10:48
    2. dag的生成和stage的划分  11:07
    3. webui观察stage划分和任务的生成  11:39
    4. 自定义二次排序  22:46
  第11章:Checkpoint、SparkSQL、Hive-On-Spark
    1. checkpoint  15:39
    2. sparksql介绍  8:00
    3. 创建dataframe  8:56
    4. dataframe常用操作-dsl风格语法  9:49
    5. dataframe常用操作-sql风格语法  3:10
    6. 通过反射推断schema  17:39
    7. 通过structtype直接指定schema  11:45
    8. hive-on-spark  21:14
  第12章:SparkStreaming、窗口操作、Spark-On-Yarn
    1. SparkStreaming简介  8:43
    2. 实例分析：SparkStreaming获取Netcat产生的数据进行实时分析  6:24
    3. SparkStreaming实现按批次累加  23:56
    4. 窗口函数概念及使用场景  17:04
    5. 窗口函数实现WordCount  8:10
    6. Spark-On-Yarn  25:37
    7. 补充：SparkStreaming依赖  0:33
  第13章:源码分析：Spark启动流程、Stage划分、任务生成、任务提交流程
    1. 关于查看源码的一些介绍  8:40
    2. 导入源码  4:57
    3. 集群启动流程-Master类  22:52
    4. 集群启动流程-Worker类  12:22
    5. SparkSubmit提交任务  8:37
    6. SparkContext  16:45
    7. 创建DriverActor和ClientActor的过程  13:11
    8. ClientActor向Master注册任务信息过程  7:07
    9. 任务调度的两种方式及Master通知Worker启动Executor的过程  10:34
    10. Executor向DriverActor反向注册的过程  5:57
    11. RDD生成和Stage划分  20:20
    12. 生成任务并提交  5:57
    13. Task任务执行流程  10:32
    14. 总结-任务生成及提交流程  14:57
大家可以点击【 查看详情】查看我的课程