大数据Spark企业级项目实战-张勇-专题视频课程

大数据Spark企业级项目实战—523人已学习
课程介绍    

    本教程从基础的Spark介绍开始，介绍Spark的各种部署模式以及动手进行搭建，然后逐步介绍其中RDD的计算模型，创建和常用的操作，以及其中一些分布式计算，RDD持久化，容错，shuffle机制，共享变量等内容。 而后在RDD的基础上，讲解SparkSQL的子框架，讲解sparkstreaming的子框架，介绍DSTREAM的概念。 后以2个项目来实际带学习者到开发环境中去动手开发，调试。
课程收益
    了解Spark的特点，应用场景，RDD的计算模型， 学会动手搭建不同模式下的Spark集群，掌握RDD，掌握SparkSQL，掌握dataframe、SparkStreaming
讲师介绍
    张勇 更多讲师课程
    北风网技术总监，在某大型电信设备公司担任架构师，主要从事电信领域的软件开发，经验丰富。对电信计费系统以及核心网软件系统有深入了解，对设计高可靠性，高扩展性的软件系统具有丰富经验。
课程大纲
  第1章:spark简介
    1. spark介绍  19:31
    2. spark软件栈  26:52
    3. 动手搭建一个最简单的spark集群  15:00
    4. 运行例子程序SparkPi  11:44
  第2章:spark部署模式介绍
    1. Spark部署模式OverView1  21:37
    2. Spark部署模式OverView2  19:51
    3. Spark启动过程详解  13:19
    4. Spark集群部署之Standalone  30:50
    5. Spark集群部署之Spark on Yarn  18:29
    6. Spark集群部署之Spark on Mesos  8:26
  第3章:spark集群硬件，开发语言和java版本的选择
    1. spark集群硬件配置  31:53
    2. spark开发的语言选择  10:32
    3. Java版本的选择  6:38
  第4章:spark的rdd及其操作介绍
    1. RDD介绍及创建  16:46
    2. RDD的操作_函数传递_闭包_shuffle介绍  31:00
    3. RDD的持久化  12:02
    4. 共享变量  10:56
    5. 常用transformation和action的API介绍  18:28
    6. 在spark-shell里动手实战wordcount及常用API  31:03
  第5章:SparkSQL及DataFrame讲解
    1. SparkSQL简介  9:38
    2. SparkSQL之Dataframe介绍及创建  20:23
    3. SparkSQL之DataframeSave&Load;  12:10
    4. SparkSQL之DataframeParquet  17:47
    5. SparkSQL之DataframeJson&HiveTables;  9:16
    6. SparkSQL之DataframeJDBC&PerformanceTuning;  11:48
    7. SparkSQL实战之Dataframe创建1  18:04
    8. SparkSQL实战之Dataframe创建2  12:38
    9. SparkSQL实战之DevelopInEclipse1  12:07
    10. SparkSQL实战之DevelopInEclipse2  14:51
    11. SparkSQL实战之SparkSQL连接hive  18:10
    12. SparkSQL实战之SparkSQL之ThriftServer  14:10
  第6章:SparkStreaming和DStream介绍
    1. SparkStreaming的demo和介绍  19:48
    2. DStream和DataSource  17:13
    3. DStream的Transformation和output  17:17
    4. DStream持久化，checkpoint，以及和DataFrame的交互  8:51
    5. SparkStreaming应用的部署和监控  15:55
  第7章:SparkStreaming性能调优，容错和Kafka集成
    1. SparkStreaming的性能调优1  16:28
    2. SparkStreaming的性能调优2  7:22
    3. SparkStreaming的性能调优3  9:20
    4. SparkStreaming的容错1  17:34
    5. SparkStreaming的容错2  6:47
    6. SparkStreaming与Kafka的集成1  5:14
    7. SparkStreaming与Kafka的集成2  4:55
    8. SparkStreaming与Kafka的集成3  6:40
  第8章:SparkSQL项目实战之文本比对
    1. 开发SparkSQL应用的雏形和定义dataframe  19:07
    2. SparkSQL数据清洗  16:28
    3. SparkSQL业务逻辑的实现和保存数据处理结果  19:35
    4. SparkSQL开发SparkSQL应用调度程序，实现多文本并行  26:27
    5. SparkSQL应用的参数化，提高可配置性  6:52
    6. SparkSQL应用部署到集群中，调试  32:58
    7. SparkSQ编写简单的shell脚本，调试及查阅JIRA  28:58
    8. SparkSQL集群和SparkSQL应用参数的调整  28:46
    9. SparkSQL应用schedular模式介绍和性能调优  37:03
  第9章:SparkStreaming+ SparkSQL+Kafka 项目实战开发
    1. kafka简介，安装和集群搭建  26:32
    2. kafka实战  8:49
    3. 多组件部署模式的设计与思考  9:04
    4. SparkStreaming+kafka应用运行日志的分析  9:30
    5. 开发基于direct模式的SparkStreaming应用  17:05
    6. SparkStreaming应用的参数设置  14:49
    7. SparkStreaming应用部署调试  22:54
    8. SparkStreaming与SparkSQL结合  21:06
    9. Kafka集群升级与connect的探索  18:01
    10. 开发自定义的Kafka producer,完成整个应用  17:41
大家可以点击【 查看详情】查看我的课程