hdfs纠删码

说明

• 本博客每周五更新一次。
• 纠删码是hadoop3提供新的数据备份方案，和原副本方向相比，通过计算方式，使用更少的存储，以达到数据安全的目标。
• 纠删码策略以路径设置单元，该路径下所有存储文件，都以设置策略存储，默认RS-6-3-1024k。如使用其他策略需提前开启。
• 当某节点数据单元或效验单元丢失，总数据单元和效验单元数不低于可恢复数，hadoop集群将在一段时间后，自动恢复该节点数据。

分享

• 大数据博客列表

记录

命令

• 纠删码命令：hdfs ec
• 查看支持的纠删码编码：hdfs ec -listPolicies
• 开启RS-3-2-1024k策略：hdfs ec -enablePolicy -policy RS-3-2-1024k

纠删码类型

• 纠删码当前有5种格式，每种都有各自的特色。数据可恢复最低数，为集群服务器最小数。

名称	算法	数据单元个数	效验单元个数	总数	最低数	单元大小
RS-3-2-1024k	rs	3	2	5	3	1024k=1024*1024=1048576
RS-10-4-1024k	rs	10	4	14	10	1024k=1024*1024=1048576
RS-6-3-1024k(默认)	rs	6	3	9	6	1024k=1024*1024=1048576
RS-LEGACY-6-3-1024k	rs-legacy	6	3	9	6	1024k=1024*1024=1048576
XOR-2-1-1024k	xor	2	1	3	2	1024k=1024*1024=1048576

设置纠删码策略

• 纠删码策略默认只开启 RS-6-3-1024k，要使用其他策略需要先开启。
• 将/input目录设置为RS-3-2-1024k策略
  • 开启RS-3-2-1024支持：hdfs ec -enablePolicy -policy RS-3-2-1024k，disable改为enable
  • hdfs创建目录，并设置RS-3-2-1024k
    • 创建目录：hadoop fs -mkdir /input
    • 设置策略：hdfs ec -setPolicy -path /input -policy RS-3-2-1024k

结论

• 纠删码和副本是两种不同数据安全策略，没有绝对的好坏，具体根据集群情况而定，如果集群存储多计算少，使用副本方案，存储少计算多使用纠删码。