视频教程-大数据全栈式运维开发-大数据

大数据全栈式运维开发

任老师，Cloudera管理/开发/分析认证讲师，华为高级特聘讲师，新华三大学高级特聘讲师，中国大数据技术与应用联盟高级讲师，全国高校大数据联盟特聘讲师，中国移动高级讲师，前IBM大数据架构师。线下超过100场授课经验，广受好评，业界口碑极佳！

任大勇

¥198.00

立即订阅

扫码下载「CSDN程序员学院APP」，1000+技术好课免费看

APP订阅课程，领取优惠，最少立减5元 ↓↓↓

订阅后：请点击此处观看视频课程

 

视频教程-大数据全栈式运维开发-大数据

学习有效期：永久观看

学习时长：6527分钟

学习计划：109天

难度：高

 

「口碑讲师带队学习，让你的问题不过夜」

讲师姓名：任大勇

技术总监/研发总监

讲师介绍：任老师，Cloudera管理/开发/分析认证讲师，华为高级特聘讲师，新华三大学高级特聘讲师，中国大数据技术与应用联盟高级讲师，全国高校大数据联盟特聘讲师，中国移动高级讲师，前IBM大数据架构师。线下超过100场授课经验，广受好评，业界口碑极佳！

☛点击立即跟老师学习☚

 

「你将学到什么？」

本次课程让学员全面系统地学习大数据平台运维，开发的操作。课程内容涉及到大数据生态系统的各项工具，内容全面，讲解细致，助您全面掌握大数据平台运维及开发工具的作用

 

「课程学习目录」

第1章： Hadoop大数据分析平台

1.chukwa安装配置01

2.Chukwa安装配置02

3.Hadoop1.2.1安装-01

4.Hadoop1.2.1安装-02

5.HBase安装-HBase shell常用命令

6.HDFS和MapReduce应用开发

7.Hive UDF和项目实战

8.HiveQL使用

9.Hive安装

10.MapReduce应用开发和HBase安装

11.Pig UDF编程和综合实战

12.Pig安装及使用

13.Pig实战和Zookeeper安装

14.Zookeeper安装使用和Chukwa安装

第2章：Hadoop2.0

1.Hadoop2.0安装01

2.Hadoop2.0安装02

3.Hadoop2.0安装03

4.Spark Standalone部署

5.SparkOnYarn实战

6.Spark独立模式HA实现

7.Spark服务配置及应用

8.Spark监控加Scala编程实例

9.Storm on YARN部署01

10.Storm on YARN部署02

11.Storm On YARN加Tez部署

12.Tez部署测试

第3章：MapReduce&HBase高阶

1.Hadoop Streaming实例01

2.Hadoop_Streaming实例02

3.hadoop1.0和2.0-eclipse插件编译

4.Hadoop2 eclipse配置测试

5.HBase API编程实例

6.HBase MapReduce编程01

7.HBase MapReduce编程02

8.HBase Thrift PHP编程01

9.HBase Thrift PHP编程02

10.HBase Thrift部署

11.HBase0.98.5-Hadoop2部署

12.MapReduce2.0实例

13.MapReduce高阶编程实例01

14.MapReduce高阶编程实例02

15.MapReduce高阶编程实例03

16.MapReduce高阶编程实例04

17.MapReduce高阶编程实例05

18.MapReduce高阶编程实例06

19.MapReduce高阶编程实例07

20.MapReduce高阶编程实例08

21.MapReduce高阶编程实例09

22.MapReduce高阶编程实例10

23.MapReduce高阶编程实例11

第4章：Sqoop&Flume

1.Flume NG复杂实例1

2.Flume NG复杂实例2

3.Flume NG复杂实例3

4.Flume NG实例1

5.Flume NG实例2

6.Flume NG综合实战

7.Flume OG部署

8.Flume OG配置案例-Flume NG部署

9.Flume OG配置案例

10.Sqoop import

11.Sqoop1 Export-Job

12.Sqoop1 Job-Sqoop2

13.Sqoop1.4.5_ Hadoop2-Hive0.13安装

14.Sqoop2使用

第5章：Mahout数据挖掘

1.Mahout fkmeans-canopy聚类实例

2.Mahout Kmeans聚类实例1

3.Mahout Kmeans聚类实例2

4.Mahout LDA聚类实例

5.Mahout Spectral聚类实例

6.Mahout 逻辑回归实例

7.Mahout安装及测试

8.Mahout朴素贝叶斯实例

9.Mahout协同过滤推荐实例

10.文本挖掘项目01

11.文本挖掘项目02

12.文本挖掘项目03

13.文本挖掘项目04

14.文本挖掘项目05

第6章：Hadoop2.0节点操作

1.怎样添加节点

2.添加新的服务器节点

3.新节点操作系统配置

4.新节点Hadoop配置

5.调整新节点副本数

6.怎样删除节点

7.删除Hadoop2.0集群节点

8.测试监控删除节点后的集群

第7章：Hadoop2.0 HDFS HA部署

1.HDFS HA的实现方式

2.HDFS HA的实现步骤

3.HA集群环境配置

4.HA hdfs-site.xml参数配置

5.HA其他参数配置

6.JournalNode服务启动及初始化

7.HDFS HA服务启动及手工切换

8.基于ZK自动切换模式的实现

9.HDFS HA中ZooKeeper部署

10.配置HDFS HA自动切换模式

11.HDFS HA自动故障切换测试

第8章：Hadoop2.0 HA+Federation部署

1.HDFS Federation的实现方式及规划

2.HDFS Federation的配置步骤

3.配置HDFS Federation

4.HDFS Federation服务启动及测试

5.HDFS HA加Federation实现及配置步骤

6.HDFS HA加Federation的配置及服务启动

7.HDFS HA加Federation集群故障模拟测试

第9章：Hadoop升级

1.Hadoop内部升级的实现

2.Hadoop1.0升级到2.0步骤

3.HDFS升级配置操作

4.执行HDFS升级并测试验证

5.MapReduce升级

第10章：YARN HA部署

1.YARN HA的实现

2.YARN HA的配置步骤及其相关参数

3.Hadoop2.0 YARN HA配置操作

4.YARN HA服务启动及测试

5.YARN HA测试及错误处理

6.解决YARN HA启动错误的问题

7.HDFS加YARN HA故障模拟测试

第11章：Hadoop安全管理

1.Hadoop安全背景

2.Hadoop1.0安全问题及处理机制

3.Kerberos基本概念及授权认证过程

4.Kerberos在Hadoop中的应用

5.Hadoop1.0安全机制的具体实现

6.RPC安全之身份认证机制

7.RPC安全之服务访问控制机制

8.HDFS安全策略

9.Mapreduce安全策略

10.Hadoop上层服务的安全策略

11.Hadoop1.0安全机制的应用场景

12.Hadoop2.0安全认证机制的实现

13.Yarn中的各类令牌及其作用

14.Hadoop2.0授权机制的实现

第12章：Hadoop安全管理实战

1.为什么选择CDH

2.CDH的体系架构

3.CDH的集群规划

4.CDH操作系统配置步骤

5.CDH集群主机名及网络配置

6.操作系统yum源配置

7.CDH5的yum源配置

8.主机间信任关系的建立

9.NTP时间同步服务配置

10.JDK安装

11.安装和配置HDFS步骤

12.YUM安装HDFS

13.CDH集群环境变量配置

14.CDH5 HDFS核心配置

15.HDFS其他重要配置及服务启动

16.安装和配置YARN的步骤

17.YARN的安装

18.YARN的核心参数配置

19.MapReduce相关参数配置

20.服务启动及验证

21.CDH5集群测试

22.web HDFS的使用

第13章：基于kerberos的安全管理

1.Kerberos集群规划及配置步骤

2.Kerberos安装配置

3.Kerberos数据库创建及服务启动

4.Kerberos的使用及测试

5.Kerberos principal和keytab概念剖析

6.HDFS上配置Kerberos步骤

7.HDFS principal创建及生成keytab文件

8.HDFS keytab文件部署

9.HDFS安全参数配置

10.Namenode服务的安全启动

11.Datanode服务的安全启动

12.HDFS安全使用测试

13.YARN配置Kerberos步骤

14.YARN principal创建及keytab文件生成部署

15.YARN安全参数配置

16.YARN服务安全启动及测试

17.自动化集群管理

第14章：Zookeeper&HIVE&HBASE&LDAP安全认证管理

1.Zookeeper配置Kerberos步骤

2.通过Yum安装Zookeeper

3.Zookeeper Server配置Kerberos

4.Zookeeper Client配置kerberos

5.HBase相关概念深度解析

6.HBase配置Kerberos步骤

7.通过Yum安装HBase 01

8.通过Yum安装HBase 02

9.为HBase配置Kerberos

10.HBase启动错误诊断及测试

11.CDH Hive架构及配置Kerberos认证步骤

12.安装HIVE组件及配置PostgreSQL

13.Hive的基础配置

14.为Hive配置Kerberos认证

15.Hive shell及Beeline安全访问测试

16.hive与hbase集成原理

17.hive-hbase集成安装配置

18.hive-hbase映射表创建

19.LDAP基本概念

20.LDAP模式设计

21.LDAP集成Kerberos配置步骤

22.LDAP安装和基础配置

23.LDAP集成Kerberos及数据库创建

24.导入系统用户到LDAP

25.OpenLDAP客户端配置和使用

第15章：Impala大数据分析引擎

1.什么是Impala

2.Impala架构和进程

3.Impala安装配置步骤

4.Impala安装部署

5.Impala配置及服务启动

6.Impala配置Kerberos认证

7.Impala启停故障处理及测试

8.Impala的使用

9.Impala-shell基本功能的使用

10.Impala连接查询

11.Impala聚合及子查询

12.Impala分区表的使用

13.Impala的优化

14.Impala收集统计信息及生成查询计划

15.HDFS缓存池在Impala中的使用

第16章：Oozie

1.什么是oozie

2.Oozie安装和配置步骤

3.Oozie安装和基本配置

4.Oozie安全配置及服务启动

5.Oozie启动问题处理

6.Oozie Mapreduce作业测试

7.Oozie常用命令及工作流程定义

8.Oozie MR-hive-sqoop动作节点配置

9.Oozie pig-ssh-java-sw-shell动作节点配置

10.Oozie Coordinator作业

11.Coordinator动作和应用定义

12.Oozie Bundle应用定义

13.什么是Hue

14.安装配置Hue-HDFS-YARN

15.Hue配置Hive Kerberos Imapala和Zookeeper

16.Hue安装启动问题处理

17.Hue页面初始化及查询问题解决

18.Hue控制台的使用

第17章：Hadoop2.0授权及资源调度管理

1.Hadoop授权管理基础知识

2.服务访问授权

3.服务级授权配置实例

4.队列访问控制列表

5.队列访问控制配置实例

6.公平调度器配置步骤

7.公平调度器配置实例

8.公平调度器验证

9.容量调度器配置

10.容量调度器配置

11.容量调度配置测试验证

12.基于标签的调度器

第18章：Hadoop压缩

1.hadoop压缩概念及支持的格式

2.hadoop常用几种压缩格式对比

3.压缩格式的选择

4.Snappy压缩配置

5.Snappy-Gzip压缩测试

6.Hadoop LZO压缩安装配置步骤

7.cdh5 lzo压缩安装

8.lzo安装问题处理

9.lzo压缩配置及测试

10.hive配置使用lzo压缩

11.Hive外部表使用lzo压缩文件

12.Hive使用lzo压缩实例

13.hbase压缩配置

14.hbase压缩测试

第19章：Hadoop文件存储格式

1.大数据存储需求及方式

2.Hadoop常用文件格式

3.HDFS块内三种存储方式实例

4.RCFile的设计和实现

5.ORCFile文件结构

6.Hive文件存储格式的选择

7.Hive不同文件格式数据加载测试

8.多种文件格式查询存储效率测试

9.RCFile性能测试

第20章：Cassandra

1.调优思路

2.应用程序优化

3.Linux系统优化

4.Hadoop实现机制调优

5.机架感知策略实现

6.Hadoop参数调优综述及NameNode调优

7.Datanode参数调优

8.集中化缓存管理

9.集中缓存架构和概念

10.缓存管理及缓存池命令

11.缓存操作实例

12.缓存参数配置

13.YARN调优概述

14.Slave和Container资源分配

15.配置资源分配和进程大小属性

16.YARN内存监控

17.Reducer调度调优

18.Mapreduce其他关键参数调优

 

「7项超值权益，保障学习质量」

• 大咖讲解

技术专家系统讲解传授编程思路与实战。

• 答疑服务

专属社群随时沟通与讲师答疑，扫清学习障碍，自学编程不再难。

• 课程资料+课件

超实用资料，覆盖核心知识，关键编程技能，方便练习巩固。（部分讲师考虑到版权问题，暂未上传附件，敬请谅解）

• 常用开发实战

企业常见开发实战案例，带你掌握Python在工作中的不同运用场景。

• 大牛技术大会视频

2019Python开发者大会视频免费观看，送你一个近距离感受互联网大佬的机会。

• APP+PC随时随地学习

满足不同场景，开发编程语言系统学习需求，不受空间、地域限制。

 

「什么样的技术人适合学习？」

• 想进入互联网技术行业，但是面对多门编程语言不知如何选择，0基础的你
• 掌握开发、编程技术单一、冷门，迫切希望能够转型的你
• 想进入大厂，但是编程经验不够丰富，没有竞争力，程序员找工作难。

 

「悉心打造精品好课，109天学到大牛3年项目经验」

【完善的技术体系】

技术成长循序渐进，帮助用户轻松掌握

掌握大数据知识，扎实编码能力

【清晰的课程脉络】

浓缩大牛多年经验，全方位构建出系统化的技术知识脉络，同时注重实战操作。

【仿佛在大厂实习般的课程设计】

课程内容全面提升技术能力，系统学习大厂技术方法论，可复用在日后工作中。

 

「你可以收获什么？」

全面系统地学习大数据平台运维的操作

全面系统地学习大数据平台开发的操作

涉及到大数据生态系统的各项工具

助您全面掌握大数据平台运维及开发工具的作用

 

订阅课程 开始学习