HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt

最新推荐文章于 2023-03-15 16:12:04 发布
VIP文章 最新推荐文章于 2023-03-15 16:12:04 发布
阅读量771 收藏 2
点赞数 2
分类专栏： 大数据开发项目小错误 大数据学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45102492/article/details/104373257
版权

当从本地上传文件到HDFS中时报错
fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f77656968616861686168616868616686168616861686861680a
org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt

[root@node01 data]# hadoop fs -put hyk.txt /hyk/test
20/02/18 12:54:39 INFO fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f77656968616861686168616868616686168616861686861680a
org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt at 0 exp: 599154106 got: -6
	at org.apache.hadoop.fs.FSInputChecker.verifySums(FSInputChecker.java:323)
	at org.apache.hadoop.fs.FSInputChecker.readChecksumChunk(FSInputChecker.java:279)
	at org.apache.hadoop.fs.FSInputChe
最低0.47元/天 解锁文章
hykDatabases
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop深入研究:(六)——HDFS数据完整性
独自登高楼 望断天涯路
06-24 1万+
转载请注明出处：hadoop深入研究:(六)——HDFS数据完整性数据完整性 IO操作过程中难免会出现数据丢失或脏数据，数据传输得量越大出错得几率越高。校验错误最常用得办法就是传输前计算一个校验和，传输后计算一个校验和，两个校验和如果不相同就说明数据存在错误，比较常用得错误校验码是CRC32.hdfs数据完整性 hdfs写入的时候计算出校验和，然后每次读的时候再计算校验和。要注意的一点是，hdfs
java fs.default.name_HDFS API文件上传，fs.default.name配置的关键性
weixin_39991148的博客
03-04 528
Exceptioninthread"main"java.lang.IllegalArgumentException:WrongFS:hdfs://master:9000/index.html,expected:file:///atorg.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:390)atorg.apache....
测试客户端往Hadoop节点中上传和下载数据过程中遇到的问题
Kp0fS的草稿纸
08-05 502
前提： hadoop节点是已经配置好的： 能够在浏览器中打开 例如： 192.168.8.888:9000 需要注意的事项 客户端的端口号要和服务器的端口号保持一致！ 然后 上传数据的code try { Configuration conf; FileSystem hdfs; conf = new Configuration(); conf.set("fs...
【解决】fs.FSInputChecker: Found checksum error
treesorshining的博客
03-15 557
通过HDFS上传文件时，上传失败，并报错“fs.FSInputChecker: Found checksum error”1.删除相应crc校验文件。2.重新命名文件即可。
java.io.IOException:org.apache.hadoop.fs.ChecksumException: Checksum error 校验和（checksum）出现异常
统木木的博客
09-17 6271
在查询hive中的数据时，报如下错误： 错误原因： 从提示用可以看出是：CheckSumException ，即 校验和异常，出现该错误的原因：存储的数据与hadoop系统为该数据生成的校核和数据不一致导致错误，说白了，就是你存储的数据出现问题了，如：人为手动更改了数据，网络不稳定以及硬件损坏等因素导致的。本博客是我自己为了复现这个错误，特地更改了hive上的源数据。 如上图，我是通...
org.apache.hadoop.fs.ChecksumException:Checksum error（hadoop put指令用不了报错）
Mr_Bright的博客
09-05 1607
从本地上传文件bb到集群报如下异常： org.apache.hadoop.fs.ChecksumException:Checksum put: Checksum error: file:/etc/profile at 2048 exp: -925270806 got: 536193734 hadoop客户端将本地文件bb上传到集群上时,会通过fs.FSInputChecker判断需要上传的文件是否存在.crc校验文件。 如果存在.crc校验文件，则会进行校验。如果校验失败，就不 会上传该文件。 解决方法
HDFS在读写过程可能遇到的问题
weixin_46444176的博客
10-05 782
本文主要记录学习过程中遇到的HDFS在读写过程中会遇到的问题，以及作者自己的一些问题，有知道的小伙伴欢迎指导。
hadoop Checksum校验的一个小问题
陆云子安的专栏
06-07 3975
今天使用下面的命令读取文件的时候val train_male = sc.textFile("file:\\E:\\m\\part-00000")读取数据的时候，报了下面的错误 org.apache.hadoop.fs.ChecksumException: Checksum error 后来查资料发现，这个和Checksum校验有问题，查看目录，发现保存的数据里面果然有.part-00000.cr
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动；...
hbase 启动regionserver日志报错： Wrong FS: hdfs:// .regioninfo, expected: file:///
08-14
NULL 博文链接：https://bnmnba.iteye.com/blog/2322332
org.apache.hadoop.fs.ChecksumException: Checksum error
bitcarmanlee的博客
03-24 7014
想put文件到hdfs上，遇到org.apache.hadoop.fs.ChecksumException: Checksum error的为本土 hadoop fs -put cheap_all /tmp/wanglei/cheap 16/03/24 09:27:52 INFO fs.FSInputChecker: Found checksum error: b[0, 4096]=313
Spark访问Linux本地文件，计算文件行数报错：org.apache.hadoop.fs.ChecksumException: Checksum error
集腋成裘，聚沙成塔
12-31 474
在通过Spark访问Linux本地文件，计算文件行数的时候报了org.apache.hadoop.fs.ChecksumException: Checksum error 错误，网上看到一篇文章，我暂时看不太明白。大家要解决 Checksum error 这个问题的话把 crc文件给删了就行。（问题解决了，记得点赞哟） ...
JAVA 上传本地文件到HDFS
程序员
08-28 3710
文件内容 上传文件 上传的时候加个一个文件夹路径ypp 读取文件 步入正题(代码) 本地安装的hadoop版本为3.1.3 pom.xml <properties> <java.version>1.8</java.version> <spark.version>3.0.0</spark.version> <scala.version>2.12.10&lt.
HDFS文件租约未释放导致的异常
一亿年开发经验
04-07 2282
所报异常 org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for LocatedBlock org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:java.lang.RuntimeException: java.io.IOException: Fail to get checksum, since file /.
spark踩坑org.apache.hadoop.fs.ChecksumException: Checksum error: file:&ERROR Executor: Exception
wt334502157的博客
08-23 867
22/08/23 11:11:21 ERROR Executor: Exception in task 0.0 in stage 1.0 (TID 3) org.apache.hadoop.fs.ChecksumException: Checksum error: file:/home/wangting/abcd.txt at 0 exp: 400493684 got: -867269390 at org.apache.hadoop.fs.FSInputChecker.verifySums(FSInput
org.apache.hadoop.fs.ChecksumException:Checksum error
BD_ZZQ的博客
10-14 1384
从本地上传文件bb到集群报如下异常： org.apache.hadoop.fs.ChecksumException:Checksum error: file:/home/gznc/bb at 0 exp:30912436 got:- 1325419952
fs.FSInputChecker: Found checksum error
老好人(廖海仁）的专栏
07-09 4819
在一个MapReduce任务中，发现以下错误： KejetLogETL ... t=(16:28:51) 12/07/06 16:28:52 INFO fs.FSInputChecker: Found checksum error: b[0, 512]=30303030303030303030313009353335330a3030303337463846444644 4109333
object not serializable (class: org.apache.hadoop.fs.path, value: file:/tmp/
最新发布
01-09
在这个问题中，报错信息显示类为org.apache.hadoop.fs.Path的对象file:/tmp/不可序列化。 解决这个问题的方法是： 1. 检查类org.apache.hadoop.fs.Path是否实现了Serializable接口。如果没有实现，需要修改该类的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值