HDFS基本介绍&读写流程

1、Hadoop内部组成

HDFS: 海量数据的存储
MapReduce: 海量数据的离线计算
Yarn: 集群资源调度

2、HDFS全称

Hadoop Distribute File System 即 Hadoop分布式文件系统
主要作用：即存储海量数据
为什么能存储海量数据？？ 因为其空间大，空间大的原因为服务器多、磁盘多。且支持扩展

3、HDFS组成部分

管理者-Master NameNode 集群中有1-2个，用于管理集群中的工作者
工作者-Slave DataNode 集群中有多个 用于存储计算数据 辅助管理
SecondaryNameNode 集群中有0-1 只负责辅助NameNode管理工作

4、HDFS存储数据的方式

以数据块的方式存储数据。默认一个数据块128M，该数值可以修改。 注意：这里的128仅仅是切分数据的阈值。
一个大的数据被切分成多个小的128M的数据块，分别存储在集群多个节点的不同位置。 数据副本机制 数据副本默认是3份。
一个数据存储到HDFS后，数据自动复制两份，共三份（三分相同的数据-数据冗余）

5、数据副本存放机制

第一个副本在客户端所在的节点（客户端也是集群内的节点），若客户端在集群外ÿ