Hadoop、HDFS

Hadoop、HDFS

Hadoop介绍

Hadoop 狭义上是指软件，广义上Hadoop指生态圈

Hadoop之父Doug Cutting

Hadoop核心组件

Hadoop HDFS（分布式文件存储系统）：解决海量数据存储；处于生态圈的低层和核心地位

Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度，支撑各种计算引擎运行，保证了Hadoop地位

Hadoop MapReduce(分布式计算框架)：解决海量数据计算

Hadoop优点

• 扩容能力：Hadoop是在可用的计算机集群间分配数据并完成计算任务的，这些集群可方便灵活的方式扩展到数以千计的节点
• 成本低：Hadoop集群允许通过部署普通廉价的机器组成集群来处理大数据，以至于成本很低，着重的是集群整体能力
• 效率高：通过并发数据，Hadoop可以在节点之间动态的并行的移动数据，使得速度非常的快
• 可靠性：能自动维护数据的多份复制，并且在任务失败后能自动的重新部署，计算任务。所以Hadoop的按位存储和处理数据的能力值得人们信赖

Hadoop集群整体概述

hadoop集群包括两个集群：HDFS集群、YARN集群

两个集群逻辑上分离，通常物理上在一起：两个集群互相之间没有依赖，互不影响，某些角色进程往往部署在同一台物理服务器上

两个集群都是标准的主从架构集群

分布式存储系统的核心及其功能

1.分布式存储的优点：无限扩展支撑海量数据存储

2.元数据的好处：元数据记录下文件及其存储位置信息，快速定位文件位置

3.分块存储好处：文件分块存储在 不同机器，针对并行操作提高效率

4.备份机制的好处：不同机器设置备份，冗余存储，保障数据安全