HDFS 知识点.md

• HDFS(Hadoop Distributed File System

  • 易于扩展的分布式文件系统
  • 运行在大量普通廉价机器上，提供容错机制
  • 为大量用户提供性能不错的文件存取服务

• HDFS 优点

  • 高容错性
    1. 数据自动保存多个副本
    2. 副本丢失后自动恢复
  • 适合批处理
    1. 移动计算而非数据
    2. 数据位置暴露给计算框架
  • 适合大数据处理
    1. GB、TB、甚至PB级数据
    2. 百万规模以上的文件数量
    3. 10K+节点规模
  • 流式文件访问
    1. 一次性写入，多次读取
    2. 保证数据一致性
  • 可构建在廉价机器上
    1. 通过多副本提高可靠性
    2. 提供了容错和恢复机制

• HDFS 的缺点

  • 低延迟数据访问
    1. 比如毫秒级
    2. 低延迟与高吞吐率
  • 小文件存取
    1. 占用NameNode大量内存
    2. 寻道时间超过读取时间
  • 并发写入、文件随机修改
    1. 一个文件只能有一个写者
    2. 仅支持append

• HDFS 架构

  • Active Namenode 作用
    1. 主Master(只有一个)
    2. 管理HDFS 的名称空间
    3. 管理数据块映射信息
    4. 配置副本策略
    5. 处理客户端读写请求
  • Standby NameNode 作用
    1. NameNode 的热备
    2. 定期合并fsimage和fsedits,推送给NameNode
    3. 当Active NameNode 出现故障时，快速切换新的Active NameNode
  • Datanode
    1. Slave(有多个)
    2. 存储实际的数据块
    3. 执行数据块读/写
  • Client
    1. 文件切分
    2. 与NameNode 交互，获取文件位置信息
    3. 与Datannode 交互，读取或者写入数据
    4. 管理HDFS,访问HDFS

• HDFS 数据块(Block) - 文件被切分成固定大小的数据块 1. 默认数据块大小为128 MB, 可配置。(数据传输时间超过寻道时间(高吞吐率)) 2. 若文件大小不到128MB,则单独存成一个block
  - 一个文件存储方式 1. 按大小被切分成若干个block，存储到不同节点上 2. 默认情况下每个block 有三个副本

• HDFS 写流程

• HDFS 读流程

• HDFS 副本放置策略

  • 一个文件划分成多个block，每个block存多份，如何为每个block选择节点存储这几份数据？
  • 副本1：同Client的节点上
  • 副本2：不同机架中的节点上
  • 副本3： 与第二个副本同一机架的另一个节点上
  • 其他副本：随机挑选

• HDFS 可靠性策略

  • 文件完整性
    1. CRC32校检
    2. 用其他副本取代损坏文件
  • Heartbeat
    1. Datanode定期向Namenode发heartbeat
  • 元数据信息
    1. FSImage（文件系统镜像）、Editlog（操作日志）
    2. 多份存储
    3. 主备NameNode实时切换

• HDFS 不适合存储小文件

  • 元信息存储在NameNode内存中
    1. 一个节点的内存是有限的
  • 存取大量小文件消耗大量的寻道时间
    1. 类比拷贝大量小文件与拷贝同等大小的一个大文件
  • NameNode存储block数目是有限的
    1. 一个block元信息消耗大约150byte内存
    2. 存储一亿个block，大约需要20GB内存
    3. 如果一个文件大小为10K，则一亿个文件大小仅为1TB（但要消耗掉NameNode20GB内存）

• HDFS 访问方式

  • HDFS Shell命令
  • HDFS Java API
  • HDFS Fuse：实现了fuse协议
  • HDFS lib hdfs：C/C++访问接口
  • HDFS其他语言编程API

• Shell 命令——文件操作

  • 将本地文件上传到HDFS bin/hadoop fs –copyFromLocal /local/data /hdfs/data
  • 删除文件/目录 bin/hadoop fs –rm /hdfs/data
  • 创建目录 bin/hadoop fs –mkdir /hdfs/data

• HDFS Shell 命令——管理命令 可以使用./hdfs dfsadmin 进行查看有哪些命令

• HDFS Shell 命令——管理脚本 在hadoop/sbin 里面

• 举例

  • 创建文件 方到HDFS 里面

cd /usr/hdp/3.1.0.0-78/hadoop/
mkdir test
echo "1111" >> ./test/a.txt
echo "222">> ./test/b.txt
echo "aaa">> ./test/c.txt
echo "bbb">> ./test/d.txt
cd /usr/hdp/3.1.0.0-78/hadoop/bin
./hadoop fs -ls /
./hadoop fs -put ../test /

在浏览器查看结果

hadoop fs 的命令

常用：cat, chmod, cp, ls, getmerge, mkdir, put, rm

• HDFS shell 命令-文件管理命令fsck
  • 检查hdfs中文件的健康状况
  • 查找缺失的块以及过少或过多副本的块
  • 查看一个文件的所有数据块位置
  • 删除损坏的数据块

• HDFS Shell 命令-数据均衡器balancer
  • 数据块重分布
    bin/start-balancer.sh-threshold <percentage of disk capacity>
  • percentage of disk capacity
    1. HDFS达到平衡状态的磁盘使用率偏差值
    2. 值越低各节点越平衡，但消耗时间也更长
• JavaAPI 介绍 以下类均来自java包：org.apache.hadoop.fs
  • configuration类 该类的对象封装了配置信息，这些配置信息来自core-*.xml
  • FileSystem类 文件系统类，可使用该类的方法对文件/目录进行操作。一般通过FileSystem的静态方法get获得一个文件系统对象
  • FSDataInputStream和FSDataOutputStream类 HDFS中的输入输出流。分别通过FileSystem的Open方法和create方法获得
  • 举例
    1. 将本地文件拷贝到HDFS 上

Configution config=new Configution(); FileSystem hdfs = FileSystem.get(config); Path srcPath = new Path(srcFile); Path dstPath = new Path(dstFile); hdfs.copyFromLocalFile(srcPath, dstPath); ```

• HDFS 多语言API——借助thrift

转载于:https://my.oschina.net/u/3746201/blog/3073893