hadoop知识点总结

大数据基础知识总结

Hadoop快速入门

1.Hadoop的优势：
高可靠性
高扩展性
高效性
高容错性
2. Hadoop1.X与Hadoop2.X的区别
从MapReduce中提取出了yarn平台。Mapreduce负责计算，yarn负责资源调度，hdfs负责数据存储，Common辅助工具
3.YARN架构
ResourceManager主要作用如下
处理客户请求
监控NodeManager
启用监控ApplicationMaster
资源分配与调度
4.NodeManager主要作用如下：
管理单个节点的资源
处理ResourceManager的命令
处理来自ApplicationMaster
5.ApplicationMaster作用如下：
负责数据切分
为任务申请资源分配给内存的任务
任务的监控与容错
6.Container的作用如下：
是yarn上资源的抽象，他封装了多个节点上的多维度资源。如，内存，CPU，网络等
7.MapReduce架构概述
将计算过程分为两个阶段：Map和Reduce：
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
8.大数据技术生态体系
Flume是Cloudera提供的一个高可用，高可靠的分布式的海量日志采集、聚合和传输的系统
Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特征：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能保持长时间的稳定性能