Hadoop storm大数据分析 知识体系结构

最近工作工作有用到hadoop 和storm,最近看到一个网站上例句的hadoop 和storm的知识体系。所以列出来供大家了解和学习。来自哪个网站就不写了以免以为我做广告额。

目录结构知识点还是挺全的,可以按照点学习。

一、Hadoop入门,了解什么是Hadoop二、分布式文件系统HDFS,是数据库管理员的基础课程

1、Hadoop产生背景

2、Hadoop在大数据、云计算中的位置和关系

3、国内外Hadoop应用案例介绍

4、国内Hadoop的就业情况分析及课程大纲介绍

5、分布式系统概述

6、Hadoop生态圈以及各组成部分的简介

7、Hadoop核心MapReduce例子说明

1、分布式文件系统HDFS简介

2、HDFS的系统组成介绍

3、HDFS的组成部分详解

4、副本存放策略及路由规则

5、NameNode Federation

6、命令行接口

7、Java接口

8、客户端与HDFS的数据流讲解

9、HDFS的可用性(HA)

三、初级MapReduce,成为Hadoop开发人员的基础课程四、高级MapReduce,高级Hadoop开发人员的关键课程

1、如何理解map、reduce计算模型

2、剖析伪分布式下MapReduce作业的执行过程

3、Yarn模型

4、序列化

5、MapReduce的类型与格式

6、MapReduce开发环境搭建

7、MapReduce应用开发

8、更多示例讲解,熟悉MapReduce算法原理

1、使用压缩分隔减少输入规模

2、利用Combiner减少中间数据

3、编写Partitioner优化负载均衡

4、如何自定义排序规则

5、如何自定义分组规则

6、MapReduce优化

7、编程实战

五、Hadoop集群与管理,是数据库管理员的高级课程六、ZooKeeper基础知识,构建分布式系统的基础框架

1、Hadoop集群的搭建

2、Hadoop集群的监控

3、Hadoop集群的管理

4、集群下运行MapReduce程序

1、ZooKeeper体现结构

2、ZooKeeper集群的安装

3、操作ZooKeeper

七、HBase基础知识,面向列的实时分布式数据库八、HBase集群及其管理

1、HBase定义

2、HBase与RDBMS的对比

3、数据模型

4、系统架构

5、HBase上的MapReduce

6、表的设计

1、集群的搭建过程讲解

2、集群的监控

3、集群的管理

九、HBase客户端十、Pig基础知识,进行Hadoop计算的另一种框架

1、HBase Shell以及演示

2、Java客户端以及代码演示

1、Pig概述

2、安装Pig

3、使用Pig完成手机流量统计业务

十一、Hive,使用SQL进行计算的Hadoop框架十二、Sqoop,Hadoop与rdbms进行数据转换的框架

1、数据仓库基础知识

2、Hive定义

3、Hive体系结构简介

4、Hive集群

5、客户端简介

6、HiveQL定义

7、HiveQL与SQL的比较

8、数据类型

9、表与表分区概念

10、表的操作与CLI客户端演示

11、数据导入与CLI客户端演示

12、查询数据与CLI客户端演示

13、数据的连接与CLI客户端演示

14、用户自定义函数(UDF)的开发与演示

1、配置Sqoop

2、使用Sqoop把数据从MySQL导入到HDFS中

3、使用Sqoop把数据从HDFS导出到MySQL中

十三、Storm

1、Storm基础知识:包括Storm的基本概念和Storm应用
     场景,体系结构与基本原理,Storm和Hadoop的对比

2、Storm集群搭建:详细讲述Storm集群的安装和安装时
     常见问题

3、Storm组件介绍: spout、bolt、stream groupings等

4、Storm消息可靠性:消息失败的重发

5、Hadoop 2.0和Storm的整合:Storm on YARN

6、Storm编程实战

十四、论坛日志分析项目

该项目的数据来自于某网站论坛的日志,它是为本课程量身定做的,非常适合我们Hadoop课程学习。有的同学觉得应该介绍更多项目,其实做过几个项目后,就会发现项目的思路是相同的,只是业务不同而已。

大家写过这个项目后,就对Hadoop的各个框架在项目中是如何使用的,以及Hadoop与JavaEE结合有一个比较清晰的认识与了解。

转载于:https://www.cnblogs.com/ExMan/p/3877180.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值