![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
萌面大盗mc
这个作者很懒,什么都没留下…
展开
-
HDFS数据完整性设计
HDFS作为一种分布式文件存储系统,数据完整性是最重要的性能指标之一。HDFS是用CRC-32(32位循环冗余校验,4个字节大小)作为其数据完整性校验方式,下面分两种常态情况介绍其校验过程: IO操作 在通过client向DataNode节点写数据时,会先在client端针对写的数据每个io.bytes.per.checksum(默认512字节)字节创建一个单独的校验和,并将该校验和同数据本身一起原创 2015-03-23 22:05:16 · 340 阅读 · 0 评论 -
记一次mapreduce程序错误调试
前两天,一同事在测试集群测试自己写的mapreduce程序遇到了错误,让我帮忙定位原因。一. 报错现象具体现象是reducetask执行到70-80%的时候就会报以下错误:java.lang.RuntimeException: Error while running command to get file permissions : java.io.IOException: Cannot run p原创 2016-02-27 16:51:26 · 640 阅读 · 0 评论