Hadoop HelloWord Examples -对Hadoop FileSystem进行操作 - 基于Java

最新推荐文章于 2020-05-05 14:08:32 发布

batilei

最新推荐文章于 2020-05-05 14:08:32 发布

阅读量1.6k

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/tspatial_thunder/article/details/10369955

版权

Hadoop 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

我之前对hadoop的各种文件操作都是基于命令行的，但是进阶后，经常需要直接从java的代码中对HDFS进行修改。今天来练习下。

一个简单的demo，将hdfs的一个文件的内容拷贝到另外hdfs一个文件。

import java.util.*;
import java.io.*;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.mapreduce.lib.input.*;
import org.apache.hadoop.mapreduce.lib.output.*;
import org.apache.hadoop.io.IOUtils;

public class ShortestPath {

	public static void main(String[] args) throws Exception
	{
		Configuration conf = new Configuration();
		conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml")); 


		//The two lines' code below is quite useful when debugging Configuration, see reference[3].
		//System.out.println(conf.getRaw("fs.default.name"));
		//System.out.println(conf.toString());
		
		FileSystem fs = FileSystem.get(conf);
		
		FSDataInputStream in= fs.open(new Path(fs.getWorkingDirectory()+"/input/data"));
		
		BufferedReader br = new BufferedReader(new InputStreamReader(in));
		
		FSDataOutputStream out = fs.create(new Path(fs.getWorkingDirectory() +"/testInput/copyData.txt"));
		
		String str = br.readLine();
		while(str!=null)
		{
			out.writeBytes(str);
			out.writeBytes("\n");
			str = br.readLine();
		}
		out.close();
		br.close();
	}
}

以上的拷贝操作也可以通过IOUtils来完成，例如：

import java.util.*;
import java.io.*;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.mapreduce.lib.input.*;
import org.apache.hadoop.mapreduce.lib.output.*;
import org.apache.hadoop.io.IOUtils;

public class ShortestPath {

	public static void main(String[] args) throws Exception
	{
		Configuration conf = new Configuration();
		conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml")); 
		
		//System.out.println(conf.getRaw("fs.default.name"));
		//System.out.println(conf.toString());
		
		FileSystem fs = FileSystem.get(conf);
		
		FSDataInputStream in= fs.open(new Path(fs.getWorkingDirectory()+"/input/data"));
		
		FSDataOutputStream out = fs.create(new Path(fs.getWorkingDirectory() +"/testInput/copyData.txt"));
			
		IOUtils.copyBytes(in, out, conf);
		
		in.close();
		out.close();	
	}
}

上面的

  conf.addResource(new Path("/usr/local/hadoop/conf/core-site.xml"));

这行代码让我挺困惑的，我一直以为Configuration是自己在构造函数的时候就自动载入这些默认的core-site.xml之类，但是看来不是。而且调用Configuration的toString()函数后显示它载入了多个core-site.xml，更加困惑。菜鸟对配置文件不熟悉，知道的兄弟讲讲。。