大数据 技术与应用（二）HDFS命令和Java API

下面在Windows中进行操作

1.安装配置JDK

①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
②配置jdk环境变量

2.安装Eclipse

官网下载Eclipse安装包eclipse-inst-win64：https://www.eclipse.org/downloads/
并安装

3.安装Maven

① Maven官网http://maven.apache.org/download.cgi，选择最近的镜像，选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。
②解压Maven压缩包apache-maven-3.6.0-bin.tar.gz，解压后的文件夹\apache-maven-3.6.0，将其考入自定义路径，如C:\eclipse\apache-maven-3.6.0。
③配置Maven 环境变量，Path添加Maven的\bin的安装路径，cmd命令行运行mvn -v，查看是否成功安装配置。

4.Eclipse配置Maven

①修改settings.xml
在安装所在文件夹\apache-maven-3.6.0下面，新建\repository文件夹，作为Maven本地仓库。在文件settings.xml里添加 C:\eclipse\apache-maven-3.6.0\repository
②配置Maven的installation和User Settings
【Preferences】→【Maven】→【Installations】配置Maven安装路径，【User Settings】配置settings.xml的路径。
③添加pom.xml依赖
依赖（Maven Repository: hadoop）所在网址：https://mvnrepository.com/tags/hadoop ，找到对应版本的三个依赖（如下），拷贝至pom.xml的与之间，保存之后自动生成Maven Dependencies。

<dependencies>
  <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.7.3</version>
  </dependency>
  <dependency>  
      <groupId>org.apache.hadoop</groupId>  
      <artifactId>hadoop-client</artifactId>  
      <version>2.7.3</version>  
  </dependency> 
  <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.7.3</version>
  </dependency>
</dependencies>

耐心等待 成功后项目书增加两项新的

5.编写Java程序并运行

文件下载：

>import java.io.FileOutputStream; import java.io.IOException; import
 java.io.InputStream; import java.io.OutputStream;
 
 import org.apache.hadoop.conf.Configuration; import
 org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;
 
 public class HDFSDownload {

private static InputStream input; 	private static OutputStream
 output; 	 	public static void main(String[] args) throws IOException {
		 		//设置root权限 		System.setProperty("HADOOP_USER_NAME", "root"); 		//创建HDFS连接对象client 		Configuration conf = new Configuration();
 		conf.set("fs.defaultFS", "hdfs://izwz97mvztltnke7bj93idz:9000");
		FileSystem client=FileSystem.get(conf);
		 		output = new FileOutputStream("c:\\hdfs\\bbout.txt"); 		//创建HDFS的输入流 		input=client.open((new Path("/bb.txt")));
		 		byte[] buffer= new byte[1024]; 		int len=0; 		while ((len=input.read(buffer))!=-1) {
 			
 			 			output.write(buffer, 0, len);
			 		}
		
		 		output.flush(); 		input.close(); 		output.close();
 		
		
		
 		 	} 	 }

文件上传：

import java.io.FileInputStream; import java.io.IOException; import
java.io.InputStream; import java.io.OutputStream;

>import org.apache.hadoop.conf.Configuration; import
 org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;

 
 public class HDFSUpload {

 	private static InputStream input; 	private static OutputStream
 output; 	 	public static void main(String[] args) throws IOException {
 		 		//设置root权限 		System.setProperty("HADOOP_USER_NAME", "root"); 		//创建HDFS连接对象client 		Configuration conf = new Configuration();
 		conf.set("fs.defaultFS", "hdfs://izwz97mvztltnke7bj93idz:9000");
 		conf.set("dfs.client.use.datanode.hostname", "true"); 		FileSystem
 client = FileSystem.get(conf);
 		 		/*//要上传的资源路径 		String src = "C:/Users/Desktop/bcdf.txt"; 		//要上传的hdfs路径 		String hdfsDst = "/aadir";
		 		client.copyFromLocalFile(new Path(src), new Path(hdfsDst));
 		
 		 		System.out.println("Success");*/
 		 		//创建HDFS的输入流 		input = new FileInputStream("D:\\xx编程\\bcdf.txt"); 		//创建HDFS的输出流 		output = client.create(new Path("/aadir/about.txt"));
 		//写文件到HDFS 		byte[] buffer = new byte[1024]; 		int len=0; 		while
 ((len=input.read(buffer))!=-1) {
			 			output.write(buffer, 0, len);
			 		}
		 		//防止输出数据不完整 		output.flush(); 		//使用工具类IOUtils上传或下载 		input.close(); 		output.close();
		
	 	} 	 }

文件创建：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSMKdir {

	public static void main(String[] args) throws IOException {
		
				//设置root权限
				System.setProperty("HADOOP_USER_NAME", "root");
				//创建HDFS连接对象client
				Configuration conf = new Configuration();
				conf.set("fs.defaultFS","hdfs://izwz97mvztltnke7bj93idz:9000");
				FileSystem client = FileSystem.get(conf);
				client.mkdirs(new Path("/aadir"));
				client.close();
				System.out.println("successfully!");
		
	}
	
}

查看文件是否存在：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSFilelfExist {

	
	public static void main(String[] args) throws IOException {
		
		//设置root权限
		System.setProperty("HADOOP_USER_NAME", "root");
		//创建HDFS连接对象client
		Configuration conf = new Configuration();
		conf.set("fs.defaultFS", "hdfs://izwz97mvztltnke7bj93idz:9000");
		FileSystem client = FileSystem.get(conf);
		//声明对象文件
		String fileName="/bb.txt";
		if (client.exists(new Path(fileName))) {
			System.out.println("文件存在");
		}else {
			System.out.println("文件不存在");
		}
		
		
	}
	
}

HDFS基本命令:

hdfs dfs -ls /  查看hdfs根目录下文件和目录
hdfs dfs -ls -R /      查看hdfs根目录下包括子目录在内的所有文件和目录
hdfs dfs -mkdir /aa/bb  在hdfs的/aa目录下新建/bb目录
hdfs dfs -rm -r /aa/bb   删除hdfs的/aa目录下的/bb目录
hdfs dfs -rm /aa/out.txt  删除hdfs的/aa目录下的out.txt文件
hdfs dfs -put /root/mk.txt /aa        把本地文件上传到hdfs 
hdfs dfs -copyFromLocal a.txt /          把本地文件上传到hdfs
hdfs dfs -get /bb.txt bbcopy.txt          从hdfs下载文件到本地
hdfs dfs -copyToLocal /bb.txt bbcopy.txt   从hdfs下载文件到本地