大数据基础知识总结
Hadoop快速入门
1.Hadoop的优势:
高可靠性
高扩展性
高效性
高容错性
2. Hadoop1.X与Hadoop2.X的区别
从MapReduce中提取出了yarn平台。Mapreduce负责计算,yarn负责资源调度,hdfs负责数据存储,Common辅助工具
3.YARN架构
ResourceManager主要作用如下
处理客户请求
监控NodeManager
启用监控ApplicationMaster
资源分配与调度
4.NodeManager主要作用如下:
管理单个节点的资源
处理ResourceManager的命令
处理来自ApplicationMaster
5.ApplicationMaster作用如下:
负责数据切分
为任务申请资源分配给内存的任务
任务的监控与容错
6.Container的作用如下:
是yarn上资源的抽象,他封装了多个节点上的多维度资源。如,内存,CPU,网络等
7.MapReduce架构概述
将计算过程分为两个阶段:Map和Reduce:
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
8.大数据技术生态体系
Flume是Cloudera提供的一个高可用,高可靠的分布式的海量日志采集、聚合和传输的系统
Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特征:
通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能保持长时间的稳定性能