<
时间 | 培训主题 | 授课内容 |
day1 | hadoop基础 | 名家讲座、hadoop介绍、linux安装和配置、jdk安装、hadoop安装、hadoop配置和使用、hadoop集群搭建 |
day2-4 | hafs分布式文件系统 | hdfs原理、hdfs shell、hdfs API、hdfs RPC、hdfs练习 |
项目实训环节 | 云盘开发项目, 全程开发文档, hdfs读写文件系统设计, hdfs客户端UI设计, hdfs开发环境搭建, hdfs云盘客户端编码。 | |
day5-6 | hadoop编程环境 | wordcount解析、mr练习、debug练习 |
mapreduce分布式编程框架 | partitioner编程、使用maven开发mr、mr排序、combiner编程、shuffle过程、mr倒排索引 | |
day7 | 休息 | |
day8 | zookeeper分布式服务框架 | zookeeper介绍、zookeeper集群搭建、zookeeper集群测试 |
day9 | hbase列式数据库 | hbase入门、hbase安装、hbase集群搭建、hbase理论知识、hbase API、hbase练习 |
day10 | hive数据分析 | hive入门、hive安装、hive分区表、hive练习 |
pig数据分析 | pig安装、pig使用 | |
day11 | flume数据收集 | 数据采集、数据清洗 |
sqoop数据迁移 | sqoop上传、sqoop安装和配置、sqoop使用、配置mysql远程连接 | |
shell脚本 | 自动化shell脚本编程 | |
day12-14 | 项目实训环节 | 日志分析系统, 全程开发文档, 集群搭建及日常维护,flum周期性收集日志,MapReduce分析过滤, HDFS数据存取, sqoop导入导出数据、 hive SQL数据分析。 |
day15 | 聚餐 |