大数据-Hadoop概念

1. Apache_Hadoop维基百科
2. hadoop官网链接
3. hadoop的优点
   3.1 高可靠
   hadoop维护了多个数据副本,当存储故障或计算故障时,不会导致数据丢失
   3.2 高扩展
   可以很方便的扩展节点
   3.3 高效率
   在MapReduce的思想下,hadoop是并行工作的,加快任务处理速度
   3.4 高容错性
   失败的任务重新分配执行
4. hadoop的组成
   hadoop 1.x MapReduce + HDFS + Common
   hadoop 2.x MapReduce + Yarn + HDFS + Common
   4.1 HDFS组成
   NameNode: 存储文件的元数据
   DataNode: 存储文件块信息,以及块数据的校验和
   SecondaryNameNode :用来监控HDFS状态的后台程序,每隔一段时间获取HDFS元数据快照
   4.2 Yarn组成
   ResourceManager: 处理客户端请求,监控nodeManager,启动监控ApplicationMaster,资源分配和调整
   NodeManager: 管理单个节点上的资源,处理来自来自ResourceManager的命令,处理来自ApplicationMaster的命令
   ApplicationMaster: 负责数据的切分,为应用程序申请资源并分配给内部的任务,任务的监控和容错
   Container: 资源抽象,封装了某个节点上的多维度资源,例如内存,CPU,磁盘,网络等
   4.3 MapReduce架构概述
   MapReduce分为两个阶段: Map 和 Reduce, map阶段负责并行处理输入数据,reduce阶段对map结果进行汇总
5. hadoop运行模式
   5.1 本地模式
   默认模式,不对配置文件进行修改,使用本地的文件系统
   5.2 伪分布模式
   在一台主机上上模拟多台主机,NameNode,DataNode等进程都启动在一台服务器上,是相互独立的进程
   5.3 完全分布式模式
   Hadoop的守护进程分别运行在多台服务器组成的集群上