大数据框架-----3.11----2

第三讲：分布式文件系统HDFS

•  3.1 分布式文件系统
• 3.2 HDFS简介
• 3.3 HDFS相关概念
• 3.4 HDFS体系结构
• 3.5 HDFS存储原理
• 3.6 HDFS数据读写过程
• 3.7    HDFS编程实践

分布式存储+分布式处理 

实时性不高，海量流数据，不适合大规模小文件存储，不支持多用户写入及修改文件，不支持多用户写入及修改

 3.3 HDFS相关概念

块 

个块64MB，一个文件被分成多个块，以块作为存储单位 块的大小远远大于普通文件系统，可以最小化寻址开销

主节点为名称节点 ，块被保存在linux系统上

 

名称节点启动的时候怎样处理这两大数据结构的？

第二名称节点：

对Editlog的处理 

每个数据都会产生3个备份