DataNode 详解及HDFS 2.X新特性

1. 工作机制

  1. 一个数据块在 DataNode 上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。
  2. DataNode 启动后向 NameNode 注册,通过后,周期性(1小时)的向 NameNode 上报所有的块信息。
  3. 心跳是每3秒一次,心跳返回结果带有 NameNode 给该 DataNode 的命令如复制块数据到另一台机器,或删除某个数据块。如果超过 10 分钟没有收到某个 DataNode 的心跳,则认为该节点不可用。

1222878-20190529121312573-1981933137.jpg


==============================

2. 数据完整性

  1. 当 DataNode 读取 Block 的时候,它会计算 CheckSum。
  2. 如果计算后的 CheckSum, 与 Block 创建时值不一样, 说明 Block 已经损坏。
  3. Client 读取其他 DataNode 上的 Block。
  4. DataNode 在其他文件创建后周期验证 CheckSum;
  5. 奇偶校验示例(实际使用的是CRC校验):

1222878-20190529121338788-251502570.jpg


==============================

3. 掉线时限参数设置

  1. DataNode 进程死亡或者网络故障造成 DataNode 无法与 NameNode 通信;
  2. NameNode 不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长;
  3. HDFS 默认的超时时长为10分钟+30秒
  4. 如果定义超时时间为 TimeOut, 则超时时长计算公式为:
    • TimeOut = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval;
    • "dfs.namenode.heartbeat.recheck-interval"默认为5分钟;
    • "dfs.heartbeat.interval"默认为3秒;

4. 服役新节点

  • 需求:在原有集群基础上,新增加一个节点。

5. 添加白名单

  • 添加到白名单的主机节点,都允许访问 NameNode,不在白名单的主机节点,都会被退出。

6. 黑名单设置

  • 在黑名单上的主机都会被强制退出。

7. DataNode 多目录配置

  • DataNode 也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本。
// hdfs-site.xml
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

8. HDFS 2.X 新特性

8.1 集群间数据拷贝
  1. scp 实现两个远程主机之间的文件复制
    • 推(push): scp -r hello.txt root@IP:端口/user/noodles/hello.txt
    • 拉(pull):scp -r root@IP:端口/user/noodles/hello.txt hello.txt
    • 两个远程主机之间: scp -r root@IP1:端口/user/noodles/hello.txt root@IP2:端口/user/test
  2. 采用 distcp 命令实现两个 Haoop 集群之间的递归数据复制
  • bin/hadoop distcp hdfs://IP1:端口1/user/noodles/hello.txt hdfs://IP2:端口2/user/noodles/hello.txt
8.2 小文件存档
  1. HDFS 存储小文件弊端
    • 每个文件均按块存储,每个块的元数据存储在 NameNode 的内存中,因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽 NameNode 中的大部分内存。但注意,存储小文件所需要的磁盘容量和数据块的大小无关。例如,一个1MB的文件设置为128M的块存储,实际使用的是1MB的磁盘空间,而不是128M;
  2. 解决存储小文件办法之一
    • HDFS 存档文件或HAR文件,是一个更高效的文件存档工具。他将文件存入HDFS块,在减少 NameNode 内存使用的同时,允许对文件进行透明的访问。具体说来,HDFS存档文件对内还是一个一个独立文件,对 NameNode 而言却是一个整体,减少了 NameNode 的内存。
  3. 具体操作步骤:
    • 启动YARN进程:start-yarn.sh
    • 把"/user/noodles/input"目录里面的所有文件归档成一个名为“input.har”的文件,并把归档后的文件存储到“/user/noodles/output”路径下:bin/hadoop archive -archiveName input.har -p /user/noodles/input /user/noodles/output
8.3 回收站案例
  • 开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除,备份等作用。
  • 功能参数说明:
    • 默认值:fs.trash.interval=0, 0 表示禁用回收站;其他值表示设置文件的存活时间;
    • 默认值:fs.trash.checkpoint.interval=0: 检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。
    • 要求:fs.trash.checkpoint.interval <= fs.trash.interval
8.4 快照管理
  • 快照相当于对目录做一个备份,并不会立即复制所有文件,而是指向同一个文件。当写入发生时,才会发生新文件。
    • 开启指定目录的快照功能:hdfs dfsadmin in -allowSnapshot 路径
    • 禁用指定目录的快照功能,默认是禁用: hdfs dfsadmin -in disallowSnapshot 路径
    • 对目录创建快照:hdfs dfs -createSnapshot 路径
    • 创建指定名称的快照: hdfs dfs -createSnapshot 路径 名称
    • 重命名快照: hdfs dfs -renameSnapshot 路径 旧名称 新名称
    • 列出当前用户所有可快照目录: hdfs lsSnapshottableDir
    • 比较两个快照目录的不同之处: hdfs snapshotDiff 路径1 路径2
    • 删除快照:hdfs dfs -deleteSnapshot 路径

转载于:https://www.cnblogs.com/linkworld/p/10943098.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值