HDFS 拷贝本地文件至HDFS时的异常[INFO fs.FSInputChecker: Found checksum error]处理方法

在尝试将本地文件拷贝到HDFS时遇到INFO fs.FSInputChecker: Found checksum error异常,原因是部分文件的crc校验码不正确。解决方法包括检查并删除本地目录中的隐藏crc文件,让HDFS在下次上传时自动生成新的校验文件,从而避免校验错误。
摘要由CSDN通过智能技术生成


                boolean deleteSource = false;

		boolean overwrite = true;

		boolean returnValue = false;

		Configuration hdfsconf = new Configuration();

		hdfsconf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));

		FileSystem hdfs = FileSystem.get(hdfsconf);

		Configuration localconf = new Configuration();


		//Copy the index files to HDFS
		FileSystem.getLocal(localconf).setVerifyChecksum(true);
		
		returnValue = FileUtil.copy(FileSystem.getLocal(localconf),
				solrDataDir, hdfs, hdfsDataDir, deleteSource, overwrite,
				hdfsconf);

		System.out.println("Upload all index files in local Solr dir to "
				+ hdfsconf.get("fs.default.name"));

在执行以上代码时报错,在上传的文件中有一文件(segment.gen)的校验码出错,无法完成上传。


打开要上传的本地目录,使用ls -all查看隐藏文件,发现有隐藏的crc文件,无法上传的segment.gen也有对应的crc文件。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值