分布式文件系统HDFS

分布式文件系统HDFS（按块存储，默认一个block块128M）
一、分布式文件系统HDFS
1、产生背景
传统的本地文件系统（单机式），在数据量过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。

2、特点介绍
2.1 高容错和高可用性，硬件错误是常态而不是异常
HDFS设计为运行在普通硬件上，所以硬件故障是很正常的。HDFS提供文本存储副本策略，可以实现错误自检并快速自动回复。个别硬件的损坏不影响整体数据完整性和计算任务的正常执行。
机架：是一个局部的局域网。副本会使用到。会先在其他的机架保存一份，会在本机架保存一份。如果本机架丢失，会优先就近查找。
2.2流式数据访问
HDFS主要采用流式数据读取，做批量处理而不是用户交互处理，因此HDFS更关注数据访问的高吞吐量。（吞吐量是指对网络、设备、端口、虚电路或其他设施，单位时间内成功地传送数据的数量（以比特、字节、分组等测量）。）
2.3弹性存储，支持大规模数据集（存储小文件，inode（存放数据描述，文件与属性等，一般删除时会删除inode），block（存在真正的数据））
HDFS支持大文件存储，典型的文件在GB甚至TB级别，可以支持数以千万计的大规模数据集。根据业务的需要灵活的增加或者缩减存储节点。弹性存储的最大挑战是减少在修改存储节点时的数据震荡问题。
2.4简单一致性模型（有删除，创建，但是没有删除，HDFS只是用来存储）
HDFS文件实行一次性写、多次读的访问模式，设计为文件一经创建、写入和关闭后就不需要再更改了，这种设计和假定简化了数据一致性的问题，提高吞吐量成为了可能，但是现在可以通过设置一些参数进行追加。
2.5移动计算而非移动数据
由于HDFS支持大文件的存储，对于大文件来说，移动计算比移动数据的代价要低。这样可以减少网络的拥塞和提高系统的吞吐量。
2.6协议和接口多样性（Http协议、https协议、ftp协议、file：//）
为上层应用提供了多种接口，HttpRestful接口、NFS接口、Ftp接口等等POSIX标准协议。
2.7多样的数据管理功能
对于数据压缩、数据加密、数据缓存和存储配置等提供了多样的管理功能。

3.应用场景
3.1各大应用商
3.2中大型互联网公司，如BAT，京东、乐视等。
3.3金融银行保险类公司
3.4各大云平台底层存储平台
3.5其他本地系统无法承载存储能力的应用

二、HDFS架构设计
jps是 https://blog.csdn.net/u013250071/article/details/80496623
是有关java的命令，集群中，是绿色安装，所以jps没有回显。
杀掉一个进程：kill -9 进程id
1、HDSF是什么
HDFS（Hadoop Distributed File System）是Hadoop分布式文件系统。
2、HDFS组件角色
2.1NameNode
2.1.1HDFS元数据管理者，管理NameNode（文件系统命名空间），记录文件是如何分割成数据块以及他们分别存储在集群在哪些数据节点上。
2.1.2NameSpace或其本身属性的任何更改都由NameNode记录，维护整个文件系统的文件与目录。
2.2DataNode
2.2.1DataNode是文件系统的工作节点，根据客户端或者NameNode发送的管理指令，负责HDFS的数据块的读写和检索操作。
2.2.2通过心跳机制定期向NameNode发送他们的存储块的列表。
2.3Client
2.3.1客户端Client代表用户与NameNode或者DataNode交互来访问整个文件系统的对象
2.3.2开发人员面向ClientAPI来编程实现，对NameNode、DataNode来说透明无感。

3、HDFS架构设计
3.1基本架构

HDFS是一个主从式（Master/Slave）的体系结构。HDFS集群中有一个NameNode和一些DataNodes，NameNode管理文件的元数据，DataNode存储实际的数据。从用户的角度看，就像操作传统的文件系统一样，可以通过目录路径对文件执行创建、读取、删除操作。客户端联系NameNode来获取元数据信息，而真正的文件I/O是直接和DataNode进行交互的。
3.2读文件流程(I/O流过程)
如果不满128M（block块的默认大小）则该使用多少空间就使用多少空间