安装配置JDK+Eclipse+Maven，搭建HDFS

安装配置JDK+Eclipse+Maven，搭建HDFS

一、安装配置JDK
1、官网下载Java开发工具安装包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、运行安装包，第一次选择JDK安装路径，第二次选择JRE安装路径，开始安装。（记住自己的安装路径）
3、配置JDK的环境变量，Path添加JDK的\bin的安装路径。
jdk环境变量配置win7(虽然之前配置过，我们现在再来简单温习一下)：
①这台电脑→属性→高级系统设置→环境变量→系统变量
②因为之前配置过环境变量，所以不用新建，找到变量名“JAVA_HOME”；变量值“C:\Program Files\Java\jdk1.8.0_121（找到你自己的安装路径）”，然后点击“确定”。
③找到变量名“CLASSPATH”；变量值：“.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;”。请注意变量值中，前面的“点“和”分号”，可以直接复制此变量值。然后点击“确定”。
④找到“Path”变量，并双击打开。配置如下三行代码：
C:\Program Files (x86)\Common Files\Oracle\Java\javapath;%SystemRoot%\system32;%SystemRoot%;%SystemRoot%\System32\Wbem;%SYSTEMROOT%\System32\WindowsPowerShell\v1.0;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;%USERPROFILE%.dnx\bin;C:\Program Files\Microsoft DNX\Dnvm;C:\Program Files\Microsoft SQL Server\130\Tools\Binn;C:\Users\Administrator\eclipse\apache-maven-3.6.1-bin\apache-maven-3.6.1\bin;%HADOOP_HOME%\bin;（这是我个人的安装路径）
最后，点击确定。
⑤cmd命令行运行javac，java -version查看是否成功安装配置。

二、安装Eclipse
（1）官网下载Eclipse安装包eclipse-inst-win64：https://www.eclipse.org/downloads/
（2）运行安装包，选择Eclipse IDE for Java Developers，开始安装。

三、安装Maven
（1） Maven官网http://maven.apache.org/download.cgi，选择最近的镜像，选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。
（2）解压Maven压缩包apache-maven-3.6.0-bin.tar.gz。
（3）配置Maven的环境变量，Path添加Maven的\bin的安装路径。
maven-3.6.0环境变量配置：
在Path下面新建一个变量
跟上面的一样配置安装的路径
(4)cmd命令行运行mvn -v，查看是否成功安装配置。

四、Eclipse配置Maven
（1）修改settings.xml
在F：\apache-maven-3.6.0下面，新建一个repository文件夹，作为Maven本地仓库。在文件settings.xml里添加双引号里面的内容"F:\Maven\apache-maven-3.6.0\repository"。（此步骤详解：新建一个文本文件，把内容复制进文本文件txt里面，然后把文本文件txt格式改为xml即可，完成后运行一下文件是否可用打开，内容是否正确。）

（2）配置Maven的installation和User Settings
Window→【Preferences】→【Maven】→【Installations】配置Maven安装路径，【User Settings】配置settings.xml的路径。


（3）在Eclipse里新建Maven Project

（4）输入com.bla，项目名称HDFSTest。

（5）自动生成Maven项目，新建包hdfs.files，包里新建class：4个java文件。

（6）添加pom.xml依赖
对应版本的三个依赖（如下），拷贝至pom.xml的与之间，保存之后自动生成Maven。

  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-hdfs</artifactId>
  <version>2.7.3</version>

  <groupId>org.apache.hadoop</groupId>  
  <artifactId>hadoop-client</artifactId>  
  <version>2.7.3</version>  

  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>2.7.3</version>

（7）安装配置成功后，Maven项目树显示如下两项：

（8）HDFSMKdir.java新建HDFS目录/aadir。

package hdfs.files;
import java.io.File;
import java.io.IOException;
import org.apache.hadoop.conf.;
import org.apache.hadoop.fs.;
import org.apache.log4j.BasicConfigurator;
public class HDFSMKdir {
public static void main(String[] args) throws IOException{

		BasicConfigurator.configure();
		System.setProperty("HADOOP_USER_NAME", "root");
		org.apache.hadoop.conf.Configuration conf=new org.apache.hadoop.conf.Configuration();
		conf.set("fs.defaultFS", "192.168.199.131:9000");
		FileSystem client=FileSystem.get(conf);
		client.mkdirs(new Path("/aadir"));
		client.close();
		System.out.println("successfully!");
	}

}

（9）HDFSUpload.java写入/上传 本地文件c:\hdfs\aa.txt 到HDFS的/aadir目录下。
package hdfs.files;
import java.io.FileInputStream;
import java.io.*;

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.http.impl.io.IdentityInputStream;
import org.apache.log4j.BasicConfigurator;;
public class HDFSUpload {

private static InputStream input;
private static OutputStream output;
public static void main(String[] args) throws IOException {
	BasicConfigurator.configure();
	System.setProperty("HADOOP_USER_NAME", "root");
	org.apache.hadoop.conf.Configuration conf=new org.apache.hadoop.conf.Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.199.131:9000");
	FileSystem client=FileSystem.get(conf);
	input =new FileInputStream("c:\\hdfs\\aa.txt");
	output =client.create(new Path("aadir/aaout1.txt"));
	byte[] buffer=new byte[1024];
	int len=0;
	while((len=input.read(buffer))!=-1) {
		output.write(buffer,0,len);
	}
	
	output.flush();
	input.close();
	output.close();
}

}

（10）HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\hdfs目录
下。
package hdfs.files;

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.BasicConfigurator;

public class HDFSDownload {

private static InputStream input;
private static OutputStream output;

public static void main(String[] args) throws IOException {
	// TODO Auto-generated method stub
	
	BasicConfigurator.configure();
	System.setProperty("HADOOP_USER_NAME", "root");
	Configuration conf=new Configuration();
	conf.set("fs.defaultFS", "hdfs://192.168.199.131:9000");
	FileSystem client=FileSystem.get(conf);
	
	input=new FileInputStream("c:\\hdfs\\bbout.txt");
	output=client.create(new Path("/bb.txt"));
	byte[] buffer=new byte[1024];
	int len=0;
	while((len=input.read(buffer))!=-1) {
		output.write(buffer,0,len);
	}
	
	output.flush();
	input.close();
	output.close();
}

}

（11）HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在。
package hdfs.files;

import java.io.IOException;

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.BasicConfigurator;

public class HDFSFilelfExist {
public static void main(String[] args) throws IOException{
BasicConfigurator.configure();
System.setProperty(“HADOOP_USER_NAME”, “root”);
org.apache.hadoop.conf.Configuration conf=new org.apache.hadoop.conf.Configuration();
conf.set(“fs.defaultFS”, “hdfs://192.168.199.131:9000”);
FileSystem client=FileSystem.get(conf);
String fileName="/bb.txt";
if(client.exists(new Path(fileName))) {
System.out.println(“文件存在！”);
}else {
System.out.println(“文件不存在！”);
}
}
}
（12）运行4个java文件，web运行192.168.199.131:50070，页面正常则成功。