01大数据技术概论 | 02Hadoop概述与安装 | 03HDFS伪分布式文件 | 04YARN | 05MapReduce详解 |
---|---|---|---|---|
1、大数据概念 | 1、Hadoop是什么 | 1、HDFS架构 | 1、YARN的由来及组成架构 | 1、MapReduce编程模型 |
2、大数据的特点 | 2、Hadoop发展历史 | 2、NameNode启动流程 | 2、详解全局资源管理ResourceManager | 2、Shuffle执行流程详解 |
3、大数据能干啥? | 3、Hadoop的优势及前景 | 3、HDFS常用API调用 | 3、详解节点资源管理NodeManager | 3、maven工具的使用 |
4、大数据发展前景 | 4、Hadoop组成结构 | 4、HDFS上运行官方案例 | 4、详解应用程序管理Application Master | 4、WordCount开发环境准备 |
5、企业数据部的业务流程分析 | 5、推荐系统框架图 | 5、编写上传文件到HDFS案例 | 5、详解Container | 5、WordCount案例实战 |
6、企业数据部的一般组织结构 | 6、配置ssh免登录密+C202:C204钥 | 6、编写读取HDFS文件案例 | 6、YARN上运行官方案例 | 6、项目打包、部署和运行 |
7、大数据技术生态体系 | 7、Hadoop集群环境搭建 | 7、MapReduce在实际应用中常见的优化 | ||
8、Hadoop配置文件 |
06Hadoop-HA高可用 | 07HDFS完全分布式 | 08Hive入门 | 09Hive深入 | 10Hive高级 |
---|---|---|---|---|
1、Hadoop2.x集群搭建 | 1、虚拟机准备 | 1、Hive发展前景及架构概述 | 1、Hive 表的创建 | 1、Hive中使用snappy压缩 |
3、NameNode的高可用性(HA) | 2、主机名设置 | 2、Hive优点及使用场景 | 2、Hive 数据类型 | 2、Hive Storage Format讲解 |
4、HDFS Federation | 3、完全分布式文件配置 | 3、Hive安装环境准备 | 3、Hive 外部表的讲解 | 3、Hive 企业使用优化 |
4、ResourceManager 的高可用性(HA) | 4、集群时间同步 | 4、Hive安装部署 | 4、Hive 分区表 | 4、自定义UDF去除数据双引号项目实战 |
5、Hadoop集群常见问题和解决方法 | 5、集群测试 | 5、Hive基本操作 | 5、Hive 常见查询 | 5、自定义UDF转换日期时间数据项目实战 |
6、Hadoop集群管理 | 6、官方案例实战 | 6、Hive运行日志配置和查看讲解 | 6、Hive UDF编程 | 6、依据业务编写HiveQL分析数据 |
7、Hive常见属性配置 |