hadoop通过FileSystem API读取和写入数据

最新推荐文章于 2021-08-16 09:38:44 发布

zstarstone

最新推荐文章于 2021-08-16 09:38:44 发布

阅读量4.1k

点赞数

本文链接：https://blog.csdn.net/ShiZhixin/article/details/8980126

版权

本文通过一个实际例子介绍了如何在Hadoop的伪分布式环境中，利用FileSystem API进行数据的读取和写入操作。作者在学习过程中对JAVA API不熟悉，但通过实践逐步理解了相关类的调用和转化关系，强调了掌握API操作的重要性。

摘要由CSDN通过智能技术生成

看hadoop指南（有更好的源码），自己测试着写了一个小例子，在伪分布式上测试成功，对JAVA的一些API也不太了解，都是一个熟悉的过程吧。

这个例子主要可以熟悉一些API，以及理解各个类之间的调用和转化关系，重新学习一门语言，主要还是API的一些操作问题，慢慢来吧，别着急，come on.

import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;


import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;




public class FileReadAndWrite {
	public static void main(String [] args) throws Exception{
		String pathString = "hdfs://192.168.56.171:9000/testRead";
		URI pathURI = URI.create(pathString);
		Configuration conf = new Configuration();
		FileSystem inputFileSystem = FileSystem.get(pathURI, conf);
		
/*		InputStream in = inputFileSystem.open(new Path(pathString));		
		byte[] fileContext = new byte[1024];