hdfs读写流程、优缺点总结

hdfs

特点

海量数据的存储

支持TB、PB级别的数据存储

故障成本较低

部署在多台服务器上，相对于单独的大型服务器发生故障而言发生故障后损失成本较低

高度容错

hdfs在文件存储上采用冗余备份机制，每个文件都会被存储三次并且放在了不同的服务器上，一旦某台服务器宕机，可以快速恢复

流式数据访问

数据一次写入后，能进行多次读操作。写入后的数据无法修改（hadoop2中可以支持修改，但是在分布式文件系统中数据量级一般都比较大，进行修改的操作反而得不偿失。

可以保证的数据的一致性（↓）

缺点

数据访问延迟较高

由于所有的请求都睡经过Master，所以当请求数量过多，自然就会延时了。

不适合做小文件存储

namenode会将每个文件的元数据都存放在内存中，小文件过多会消耗掉过多的内存，

不支持并行写入操作

一个文件只能有一个写操作，不允许多个线程并行写入

hdfs读写流程

写流程

• client向nameode发起RPC请求

• namenode检查文件是否存在以及权限，成功的话会生成一个文件的记录，失败则会抛出异常

• 客户端对文件进行切割分块（默认每块128M），namenode会返回相应的datanode

• 以pipeline的形式传递数据，客户端以流的形式把数据传给第一个datanode，第一个datanode数据存储之后，再传递给pipeline中的下一个datanode，依次进行，直到最后一个datanode存储完成之后会返回一个ack，通过pipeline传递给客户端

• 写入成功后调用close（），关闭数据流。

  在文件写入过程中，如果pipeline中的某个datanode出现故障，当前pipeline会被关闭，namenode会重新分配一个新的datanode，保证原有的数量

  读流程

  • 使用HDFS提供的客户端Client， 向远程的Namenode发起RPC请求；

  • Namenode会视情况返回文件的部分或者全部block列表， 对于每个block， Namenode都会返回有该block拷贝的DataNode地址；

  • 客户端Client会选取离客户端最近的DataNode来读取block； 如果客户端本身就是DataNode， 那么将从本地直接获取数据；

  • 读取完当前block的数据后， 关闭当前的DataNode链接， 并为读取下一个block寻找最佳的DataNode；

  • 当读完列表block后， 且文件读取还没有结束， 客户端会继续向Namenode获取下一批的block列表；

  • 读取完一个block都会进行checksum验证， 如果读取datanode时出现错误， 客户端会通知Namenode， 然后再从下一个拥有该block拷贝的datanode继续读。

  ​

  ​