HDFS JAVA API

最新推荐文章于 2022-08-06 15:44:02 发布

Bee_Darker

最新推荐文章于 2022-08-06 15:44:02 发布

阅读量648

点赞数

分类专栏：大数据文章标签： hdfs JAVA API

本文链接：https://blog.csdn.net/Bee_Darker/article/details/106452374

版权

系统环境

Linux Ubuntu 16.04

jdk-7u75-linux-x64

hadoop-2.6.0-cdh5.4.5

hadoop-2.6.0-eclipse-cdh5.4.5.jar

eclipse-java-juno-SR2-linux-gtk-x86_64

任务内容

本实验涉及到使用Java API对HDFS的一些基本操作。

1.创建类MakeDir.class，在HDFS的根目录下，创建名为hdfstest的目录。

2.创建类TouchFile.class，在HDFS的目录/hdfstest下，创建名为touchfile的文件。

3.创建类CopyFromLocalFile.class，将linux本地文件/data/mydata/sample_data，上传到HDFS文件系统的/hdfstest目录下。

4.创建类CopyToLocalFile.class，将HDFS文件系统上的文件/hdfstest/sample_data，下载到本地/data/mydata/copytolocal 。

5.创建类ListFiles.class，列出HDFS文件系统/hdfstest目录下，所有的文件，以及文件的权限、用户组、所属用户。

6.创建类IteratorListFiles.class，列出HDFS文件系统/根目录下，以及各级子目录下，所有文件以及文件的权限、用户组，所属用户。

7.了解FileSystem类下的方法，例如：判断文件是否存在、删除文件、重命名文件等。
8.创建类LocateFile.class，查看HDFS文件系统上，文件/hdfstest/sample_data的文件块信息。

9.创建类WriteFile.class，在HDFS上，创建/hdfstest/writefile文件，并在文件中写入内容“hello world hello data!”。

10.创建类PutMerge.class，将Linux本地文件夹/data/mydata/下的所有文件，上传到HDFS上并合并成一个文件/hdfstest/mergefile。

任务步骤

1.切换目录到/apps/hadoop/sbin下，启动hadoop。

cd /apps/hadoop/sbin  
./start-all.sh

在Linux本地创建/data/hadoop4目录。

mkdir -p /data/hadoop4

2.切换到/data/hadoop4目录，用wget命令，从http://192.168.1.100:60000/allfiles/hadoop4/网址上下载依赖包hadoop2lib.tar.gz，并解压到当前目录。

cd /data/hadoop4  
wget http://192.168.1.100:60000/allfiles/hadoop4/hadoop2lib.tar.gz  
tar zxvf hadoop2lib.tar.gz

3.打开Eclipse，新建JAVA项目，名为hadoop4。
4.在hadoop4项目下新建包，名为my.hdfs。
5.在hadoop4项目下创建目录，名为hadoop4lib，用于存放项目所需依赖包
6.从/data/hadoop4/hadoop2lib目录下拷贝所有jar包到项目下的hadoop4lib目录。
在这里插入图片描述
这样就将jar包加载到项目里面了，然后是进行Java API对HDFS的各种基本操作。

7.在my.hdfs包下，新建类MakeDir，程序功能是在HDFS的根目录下，创建名为hdfstest的目录。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class MakeDir {
   
	public static void main(String[] args) throws IOException, URISyntaxException {
   
		Configuration conf = new Configuration();

		String hdfsPath = "hdfs://localhost:9000";
		FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);

		String newDir = "/hdfstest";

		boolean result = hdfs.mkdirs(new Path(newDir));
		if (result) {
   
			System.out.println("Success!");
		}else {
   
			System.out.println("Failed!");
		}
	}
}

在Eclipse里执行，然后在HDFS上查看实验结果。

hadoop fs -ls -R  /

运行结果：

在这里插入图片描述

8.在my.hdfs包下，新建类TouchFile，程序功能是在HDFS的目录/hdfstest下，创建名为touchfile的文件。

package my.hdfs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TouchFile {
   
	public static void main(String[] args) throws IOException, URISyntaxException {
   
		Configuration configuration = new Configuration();

		String hdfsPath = "hdfs://localhost:9000";
		FileSystem hdfs = FileSystem.get(new URI(hdfsPath), configuration);

		String filePath = "/hdfstest/touchfile";

		FSDataOutputStream create = hdfs.create(new Path(filePath));

		System.out.println("Finish!");
	}