1.下载与集群上版本号相同的hadoop压缩包
解压 然后配置环境变量
HADOOP_HOME 解压目录
Path中添加 %HADOOP_HOME%\bin
测试 hadoop version 出现hadoop版本
2.在bin目录下添加windows环境下的依赖
下载链接 https://pan.baidu.com/s/1ahSpPoBSLsouUNkKHQHSSg 密码:hre7
复制如下文件在bin目录下 避免冲突再将hadoop.dll文件复制到C:/WINDOW/SYSTEM32下面
3.建立maven项目 打开pom.xml 引入如下依赖
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.11</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>${hadoop.version}</version>
</dependency>
<dependency>
<groupId>jdk.tools</groupId>
<artifactId>jdk.tools</artifactId>
<version>1.8</version>
<scope>system</scope>
<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
</dependency>
4.引入core-site.xml和hdfs-site.xml 在resource资源文件夹下
上诉两个文件在集群hadoop目录下etc中存放 可以通过ssh连接 进入目录下 用cat命令查看xml文件 总之复制即可。
5.在单元测试中编写测试类
三步配置
conf.set("fs.defaultFS","hdfs://集群ip地址:9000"); //hadoop配置 远程 就修改master为IP地址 同理 core-site.xml也需要修改
System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.2"); //配合环境变量 读取windows的配置工具
System.setProperty("HADOOP_USER_NAME","集群用户名"); //权限 否则默认windows用户
6.编写相应功能测试
eg:create file
@Test
public void testCreateFile()
{
Configuration conf=new Configuration();
FileSystem fs=null;
try {
conf.set("fs.defaultFS","hdfs://集群ip地址:9000");//hadoop配置 远程 就修改master为IP地址
System.setProperty("hadoop.home.dir", "D:\\hadoop-2.7.2"); //配合环境变量 读取windows的配置工具
System.getProperties().put("HADOOP_USER_NAME","hadoop"); //权限
fs=FileSystem.get(conf);
fs.create(new Path("/dfsExplorerTest"));
fs.close();
} catch (IOException e) {
log.error("初始化FileSystem失败!",e);
}
}
效果图: