大数据(二) - HDFS

HDFS优点
    高容错性
            数据自动保存多个副本
            副本丢失后,自动恢复
    适合批处理
            移动计算而非数据
            数据位置暴露给计算框架
    适合大数据处理
            GB、TB、甚至PB级数据
            百万规模以上的文件数量
            10K+节点规模
    流式文件访问
            一次性写入,多次读取
            保证数据一致性
    可构建在廉价机器上
            通过多副本提高可靠性
            提供了容错和恢复机制

HDFS缺点,不适合以下操作方式
    低延迟数据访问
            比如毫秒级
            低延迟与高吞吐率
    小文件存取
            占用NameNode大量内存
            寻道时间超过读取时间
    并发写入、文件随机修改
            一个文件只能有一个写者
            仅支持append

HDFS不适合存储小文件 
    元信息存储在NameNode内存中
            一个节点的内存是有限的
    存取大量小文件消耗大量的寻道时间
            类比拷贝大量小文件与拷贝同等大小的一个大文件
    NameNode存储block数目是有限的
            一个block元信息消耗大约150 byte内存
            存储1亿个block,大约需要20GB内存
            如果一个文件大小为10K,则1亿个文件大小仅为1TB(但要消耗掉NameNode 20GB内存)

HDFS架构
HDFS使用典型的master-slave结构
HDFS设计思想


hdfs架构



Active Namenode: 主Master(只有一个) 
        管理 HDFS的名称空间
        管理数据块映射信息
        配置副本策略
        处理客户端读写请求
Standby Namenode:NameNode的热备;
        定期合并fsimage和fsedits,推送给NameNode;
        当Active NameNode出现故障时,快速切换为新的 Active NameNode。
Datanode: Slave(有多个) 
        存储实际的数据块
        执行数据块读/写
Client: 文件切分 
        与NameNode交互,获取文件位置信息;
        与DataNode交互,读取或者写入数据;
        管理HDFS;
        访问HDFS。

HDFS数据块(block)
    文件被切分成固定大小的数据块
            默认数据块大小为64MB,可配置
            若文件大小不到64MB,则单独存成一个block
    为何数据块如此之大
            数据传输时间超过寻道时间(高吞吐率)
    一个文件存储方式
            按大小被切分成若干个block,存储到不同节点上
            默认情况下每个block有三个副本
HDFS写流程



HDFS读流程


HDFS典型的物理拓扑结构


HDFS Block副本放置策略
        副本1: 同Client的节点上 
        副本2: 不同机架中的节点上
        副本3: 与第二个副本同一机架的另一个节点上
        其他副本:随机挑选


HDFS可靠性策略


HDFS访问方式
     HDFS Shell命令 :和linux命令很像
     HDFS Java API :org.apache.hadoop.fs,很简单
    HDFS REST API
    HDFS Fuse:实现了fuse协议
    HDFS lib hdfs:C/C++访问接口
    HDFS 其他语言编程API
             使用thrift实现
            支持C++、Python、php、C#等语言



HDFS2.0新特性(还没有完全实现,谨慎使用)
        NameNode HA
        NameNode Federation
        HDFS 快照(snapshot)
        HDFS 缓存(in-memory cache)
        HDFS ACL
        异构层级存储结构(Heterogeneous Storage hierarchy)

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页