大数据课程-曹金乐-专题视频课程

大数据课程—540人已学习
课程介绍    

    平台完整、全面、具流程化的大数据课程。 本课程在实战中穿插理论，让学员在实战的过程中充分理解各个技术的架构原理，涉及所有实战都是老师边讲解边操作，不会忽略任何一个操作细节。 全套课程以企业真实案例项目为导向，从案例项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合集成与开发及Web可视化系统交互设计等方面进行了全面的讲解与实战。
课程收益
    学完本课程可完全胜任如下三个岗位： 1. Hadoop开发工程师 2.大数据架构师 3.Spark开发工程师
讲师介绍
    曹金乐 更多讲师课程
    华为大数据架构师，多年大数据项目架构设计与研发经验。并且一直从事大数据技术研究和培训教育工作
课程大纲
  第1章:实战前Hadoop2.X必修课
    1. 什么是Hadoop2.X  32:48
    2. HDFS分布式文件系统架构原理详解  20:40
    3. MapReduce架构设计与原理详解  01:03:13
    4. YARN资源管理架构原理详解  13:13
  第2章:项目案例需求分析与设计
    1. 案例需求分析  7:29
    2. 系统架构设计  9:03
    3. 系统数据流程设计  7:29
    4. 集群资源规划设计  3:35
  第3章:Linux环境准备与设置
    1. Linux系统常规设置  22:00
    2. 克隆虚拟机并进行相关的配置  18:00
    3. 对集群中的机器进行基本配置  12:16
  第4章:Hadoop2.x分布式集群部署
    1. Hadoop2.x版本下载及安装  8:50
    2. Hadoop2.x分布式集群配置-HDFS  20:54
    3. Hadoop2.x分布式集群配置-YARN  21:00
    4. Hadoop2.x分布式集群配置-取消授权  10:08
    5. 分发到其他各个机器节点  2:53
    6. HDFS启动集群运行测试  8:15
    7. YARN集群运行MapReduce程序测试  9:39
    8. 配置集群中主节点到各个机器的SSH无密钥登录  10:55
    9. 配置集群内机器时间同步（使用Linux ntp进行）  11:10
  第5章:Zookeeper分布式集群部署
    1. Zookeeper版本下载及安装  10:27
    2. 分布式集群配置及参数介绍  14:12
    3. Zookeeper服务启动及测试  8:46
  第6章:Hadoop2.x HA架构与部署
    1. HDFS-HA架构原理介绍  15:58
    2. HDFS-HA 详细配置  18:50
    3. 基于Zookeeper的HA配置  29:02
    4. HDFS-HA 服务启动及自动故障转移测试  21:06
    5. YARN-HA架构原理介绍  10:19
    6. YARN-HA 详细配置  10:40
    7. YARN-HA 服务启动及自动故障转移测试  10:51
  第7章:HBase的应用场景及架构原理
    1. HBase能做什么  4:13
    2. HBase在实际业务场景中的应用  5:02
    3. HBase的特点  8:49
    4. HBase数据模型并举例说明  8:40
    5. HBase表结构模型并举例说明  5:50
  第8章:HBase分布式集群部署与设计
    1. 下载HBase版本并安装  8:05
    2. HBase分布式集群的相关配置  23:08
    3. HBase相关的服务介绍及启动测试  13:59
    4. 通过Shell进行数据表的操作测试  11:42
    5. HBase集群中Master-backup配置  7:57
    6. 根据业务需求创建表结构  9:33
  第9章:Kafka分布式集群部署
    1. Kafka服务简介及版本下载安装  20:49
    2. Kafka分布式集群配置  10:18
    3. 启动Kafka依赖于Zookeeper的服务并进行测试  11:35
    4. Kafka分布式服务配置启动注意的地方  4:50
  第10章:Flume用户行为数据采集准备
    1. Flume节点服务设计  3:05
    2. Flume版本下载安装  5:16
    3. Flume服务架构及配置说明  18:55
    4. Flume Agent-1采集节点服务配置  23:00
    5. Flume Agent-2采集节点服务配置  7:21
  第11章:Flume+HBase+Kafka集成与开发
    1. Flume-3数据合并节点服务思路梳理  10:23
    2. 下载Flume源码并导入Idea开发工具  7:21
    3. 官方Flume与HBase集成的参数介绍  11:51
    4. 下载日志数据并分析  14:01
    5. Flume与HBase集成配置一  11:12
    6. Flume与HBase集成配置二  8:11
    7. 对日志数据进行格式处理  5:58
    8. 自定义SinkHBase程序设计与开发  37:16
    9. Idea中自定义SinkHbase程序编译打jar包  9:35
    10. Flume与Kafka集成配置  16:49
    11. Flume与HBase集成配置完善  2:40
  第12章:数据采集/存储/分发完整流
    1. 应用服务模拟器程序开发  16:03
    2. 模拟程序Jar包上传与分发  3:12
    3. 编写运行模拟程序的Shell脚本  13:44
    4. 编写Flume集群服务启动脚本  16:50
    5. 编写Kafka Consumer执行脚本  11:19
    6. 启动模拟程序服务并测试  8:18
    7. HDFS集群服务启动并测试  9:20
    8. Zookeeper集群服务启动并测试  3:08
    9. HDFS-HA启动并测试（一）  10:00
    10. HDFS-HA启动并测试（二）  10:09
    11. HBase集群启动并测试  14:18
    12. Kafka集群启动并整理topic  8:20
    13. Kafka服务创建业务数据topic  8:19
    14. HBase中创建业务数据表  6:51
    15. FLume服务启动并解决出现的问题(一)  16:06
    16. Flume服务启动并解决出现的问题（二）  33:17
    17. 完成数据采集全流程测试  32:56
    18. 关于kafka集群中问题的解答  15:10
  第13章:MySQL数据库服务安装与应用
    1. 配置MySQL在线安装的yum源  11:13
    2. 在线安装mysql并启动服务测试  10:00
  第14章:Hive集成HBase进行数据分析
    1. Hive概述  12:40
    2. Hive在Hadoop生态系统中的位置  6:21
    3. Hive架构设计  6:06
    4. Hive的优点及应用场景  7:46
    5. Hive版本下载及安装部署  14:46
    6. Hive与MySQL集成  19:01
    7. Hive服务启动与测试  21:58
    8. 根据业务需求创建数据分析表结构  4:57
    9. Hive与HBse集成进行数据离线分析（一）  16:00
    10. Hive与HBse集成进行数据离线分析（二）  2:29
    11. Hive与HBse集成进行数据离线分析（三）  8:33
  第15章:Hue大数据可视化分析
    1. Hue概述及版本下载  19:16
    2. Hue编译及安装  16:04
    3. Hue的基本配置与服务启动  8:51
    4. Hue与HDFS集成  10:31
    5. Hue与Yarn集成  4:45
    6. Hue与Hive集成  10:48
    7. Hue与MySQL集成  7:27
    8. Hue与HBase的集成  5:43
    9. 对采集的数据进行可视化分析  24:32
    10. Hue需要注意的几个地方  10:11
  第16章:Spark2.X环境准备/部署及运行
    1. Spark概述及特点  27:48
    2. Spark生态系统介绍  11:58
    3. 学习Spark需要了解的几个重要网站  22:06
    4. Spark2.2源码下载及编译  28:53
    5. Scala安装及环境设置  17:23
    6. Spark2.2 本地模式运行测试  33:41
    7. Spark服务WEB 监控页面  10:56
  第17章:基于IDEA环境下的Spark程序开发
    1. Windows环境下的配置与安装  26:31
    2. IDEA Mave工程创建与配置  38:25
    3. 开发Spark Application程序并进行本地测试  25:45
    4. 生成Jar包并提交spark-submit运行  21:34
  第18章:Spark集群运行模式
    1. Spark几种运行模式介绍  5:18
    2. Spark Standalone集群模式配置与运行  33:30
    3. Spark on YARN 集群模式配置与运行  47:59
  第19章:Spark2.X弹性分布式数据集
    1. 三大弹性分布式数据集介绍  27:11
    2. Spark RDD概述与创建方式  28:45
    3. Spark RDD五大特性  18:49
    4. Spark RDD操作方式及使用（一）  38:34
    5. Spark RDD操作方式及使用（二）  9:41
    6. DataFrame创建方式及功能使用  23:11
    7. DataSet创建方式及功能使用（一）  18:13
    8. DataSet创建方式及功能使用（二）  13:05
    9. 数据集之间的对比与转换  15:15
  第20章:Spark SQL 快速离线数据分析
    1. Spark SQL概述及特点  36:22
    2. Spark SQL 服务架构  7:14
    3. Spark SQL 与Hive集成(spark-shell)  20:50
    4. Spark SQL与Hive集成(spark-sql)  17:18
    5. Spark SQL之ThirftServer和beeline使用  15:55
    6. Spark SQL与MySQL集成  25:32
    7. Spark SQL与HBase集成分析业务数据（一）  25:34
    8. Spark SQL与HBase集成分析业务数据（二）  13:31
  第21章:Spark Streaming 实时数据分析
    1. Spark Streaming功能介绍  18:40
    2. NC服务安装并运行SparkStreaming程序  19:45
    3. Spark Streaming服务架构及工作原理  18:42
    4. Spark Streaming编程模型与开发  16:23
    5. Spark Streaming读取并处理Socket流数据  9:49
    6. Spark Streaming结果数据保存到数据库  25:04
    7. SparkStreaming与Kafka集成进行数据处理（一）  20:35
    8. SparkStreaming与Kafka集成进行数据处理（二）  13:45
  第22章:Structured Streaming 数据实时分析
    1. Structured Streaming 概述及架构  12:48
    2. Structured Streaming与Socket集成  25:06
    3. 实时数据处理业务分析  15:02
    4. Stuctured Streaming 与kafka集成（一）  27:15
    5. Stuctured Streaming 与kafka集成（二）  19:30
    6. Stuctured Streaming 与MySQL集成  35:42
    7. 基于结构化流完成业务数据实时分析（一）  01:09:58
    8. 基于结构化流完成业务数据实时分析（二）  11:56
    9. 基于结构化流完成业务数据实时分析（三）  3:17
  第23章:数据分析WEB系统开发
    1. 基于业务需求的WEB系统设计  12:33
    2. 下载Tomcat并创建Web工程  8:43
    3. Web系统数据处理服务层开发  11:29
    4. 基于WebSocket协议的数据推送服务开发  14:21
    5. 基于Echart框架的页面展示层开发（一）  24:28
    6. 基于Echart框架的页面展示层开发（二）  18:03
    7. 工程编译并打包发布  10:00
    8. 启动各个服务并展示最终项目运行效果  38:13
大家可以点击【 查看详情】查看我的课程