客户端上传数据或DataNode从其他DataNode上接收数据时,都会检查校验和,把真实数据的校验和同datanode上的校验和进行比较。
每创建一个文件filename.txt时,就会在同目录下创建.
filename
.txt.crc检验和文件,默认情况下,每512个字节就会生成一个32位的校验和,可以在core-site.xml文件中修改默认值:
也可以禁止Hadoop校验和检验:
或者如下:
本站文章除注明转载外,均为本站原创;欢迎任何形式的转载,但请务必注明出处
转载请注明:文章转载自:
聚资库
本文标题:Hadoop校验和的检验
记录一下Hadoop的配置和说明,用到新的配置项会补充进来,不定期更新。以配置文件名划分 以hadoop 1.x配置为例 core-site.xml name value Description fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口 fs.checkpoint.dir /opt/