CRC文件校验

CRC文件校验

文件在下载的时候，除了需要下载的文件在外，生成一个crc的文件。

crc校验文件作用：用于校验下载的文件数据是否是完整的。校验数据的完整性
如何校验的：
数据的实际的块存储目录：
/home/hadoop/data/hadoopdata/dfs/data/current/BP-1178107398-192.168.2.111-1578828981899/current/finalized/subdir0/subdir0
如果有一个块是完整的，校验通过， 完整的块下载。如果文件都损坏，则校验不通过，下载失败。

案例：

package com.lee.crc;


import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestCRC {
	public static void main(String[] args) throws IOException {
		System.setProperty("HADOOP_USER_NAME", "hadoop");
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://hadoop112:9000");
		FileSystem fs= FileSystem.get(conf);
		fs.copyToLocalFile(new Path("/jasper/redis-5.0.5.tar.gz"), new Path("E:\\testcrc"));
		
		fs.close();
	}
}