校验码检验

客户端上传数据或DataNode从其他DataNode上接收数据时，都会检查校验和，把真实数据的校验和同datanode上的校验和进行比较。

每创建一个文件filename.txt时，就会在同目录下创建. filename .txt.crc检验和文件，默认情况下，每512个字节就会生成一个32位的校验和，可以在core-site.xml文件中修改默认值：

<property> <name>io.bytes.per.checksum</name> <value>512</value> </property>

也可以禁止Hadoop校验和检验：

<property> <name>fs.file.impl</name> <value>org.apache.hadoop.fs.RawLocalFileSystem</value> </property>

或者如下：

FileSystem fs = new RawLocalFileSystem(); fs.initialize(null, conf);

本站文章除注明转载外，均为本站原创；欢迎任何形式的转载，但请务必注明出处

转载请注明：文章转载自： 聚资库

[ http://www.juziku.com ]

本文标题：Hadoop校验和的检验

本文地址： http://www.juziku.com/wiki/5988.htm

延伸阅读：

上一篇Hadoop配置项整理(core-site.xml) 下一篇linux修改系统时区及时间

相关推荐

Hadoop配置项整理(core-site.xml)

记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分 以hadoop 1.x配置为例 core-site.xml name value Description fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口 fs.checkpoint.dir /opt/

• Hadoop里MapReduce实现单词数统计

  Hadoop操作MapReduce实现单词统计，代码如下： package com.juziku; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.MapReduceBas

• 通过API操作Hadoop例子

  通过Hadoop API操作Hadoop的HDFS文件系统，这里使用的是hadoop1.0.4，具体步骤如下： 在eclipse中新建Java项目，把hadoop里jar包导入工程里，并把core-site.xml文件拷到resources目录里： core-site.xml文件内容如下所示： &lt;?xml version="1.0"?&gt; &lt;?xml-stylesheet type="text/xsl" hre

• Hadoop配置项整理(mapred-site.xml)

  记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分 以hadoop 1.x配置为例 mapred-site.xml name  value  Description hadoop.job.history.location   job历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。 hadoop.job.histor

• Hadoop配置项整理(hdfs-site.xml)

  记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分 以hadoop 1.x配置为例 hdfs-site.xml  name  value Description  dfs.default.chunk.view.size 32768 namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。 dfs.datanode.du.reserved

• Ext3、Ext4的特点和区别

  1. 与 Ext3 兼容。 执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有 Ext3 数据结构照样保留，Ext4 作用于新数据，当然，整个文件系统因此也就获得了 Ext4 所支持的更大容量。 2. 更大的文件系统和更大的文件。 较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件，Ext4 分别支持 1EB（1,048,576TB， 1EB=1024PB， 1PB=1024TB）的文件系统，以及 16TB

• overload和override的区别

  Overload是重载的意思，Override是覆盖的意思，也就是重写。 1.Overload(重载)表示同一个类中可以有多个名称相同的方法，但这些方法的参数个数或类型不相同。 package com.juziku; import java.util.Calendar; import java.util.Date; /** * 方法重载 * @author sunlightcs * 2011-3-1 * http://hi.juziku.com/sunlightcs/ */

Service和Thread的区别？