HDFS-LocalFileSystem

最新推荐文章于 2023-07-20 17:06:40 发布

iteye_19462

最新推荐文章于 2023-07-20 17:06:40 发布

阅读量479

点赞数

分类专栏： hadoop hdfs 文章标签：大数据 java

本文链接：https://blog.csdn.net/iteye_19462/article/details/82341870

版权

hadoop 同时被 2 个专栏收录

42 篇文章 0 订阅

订阅专栏

hdfs

6 篇文章 0 订阅

订阅专栏

LocalFileSystem

Hadoop LocalFileSystem是客户端校验的类。在使用LocalFileSystem写文件时，会透明的创建一个.filename.crc的文件。校验文件大小的字节数由io.bytes.per.checksum属性设置，默认是512bytes,即每512字节就生成一个CRC-32校验和。

.filename.crc文件会存 io.bytes.per.checksum的信息。在读取的时候，会根据此文件进行校验。

事实上LocalFileSystem是通过继承ChecksumFileSystem实现校验的工作。

写例子：

package com.bigdata.io;

import java.io.IOException;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.LocalFileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RawLocalFileSystem;


public class WriteToLocal {
	
	public static void main(String[] args) throws IOException, URISyntaxException {
		Configuration conf = new Configuration();
		LocalFileSystem fs =  new LocalFileSystem(new RawLocalFileSystem());
		fs.initialize(new URI("file:///home/peter/abc1"), conf); // put the conf object to filesystem instance
		OutputStream out = fs.create(new Path("file:///home/peter/abc1"));
		for(int i = 0; i < 512*10;i++){
			out.write(97);
		}
		out.close();
		Path file = fs.getChecksumFile(new Path("file:///home/peter/abc1"));
		System.out.println(file.getName());
		fs.close();
	}

}