windows下java操作hdfs(开发环境)相关配置

本文部分参考：http://www.cnblogs.com/marost/p/4372778.html，该文写得比较详细。具体步骤如下：

在进行下面操作前，请确保hadoop已正确发布，部分验证方式：

1 通过http://192.168.1.XXX:50070/dfshealth.html#tab-overview（XXX为master机的ip地址）可以正常看到分布式集群信息，hdfs文件系统列表；

2 通过master机上命令行，可正常上传、删除文件/文件夹；

3 请检查hadoop集群master slaver的日志，看是否有报错信息，正常不会有异常信息，或error级别日志，这是检查hadoop是否正确发布的一个重要方法。

请确保hadoop已正确发布后，然后再尝试在windows上使用java操作hdfs，否则会出现意想不到的错误。

我的系统及软件版本：win10 64位 + IDEA2017.2.5 + jdk1.7

windows上使用java操作hdfs环境配置步骤：

1 本机已安装IEDA, jdk1.7；


2 IEDA中新增java,MAVEN工程；


3 下载hadoop,参考地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz,下载加压到本地目录，将hadoop 2.6.0根目录下 /hadoop-2.6.0/share/hadoop文件夹中所有jar包添加到工程build path，可考虑将其放得一个user library中；

4 从网上下载junit-4.12.jar，将其添加到工程build path中，用于运行测试用例；

5 http://blog.csdn.net/daxiang12092205/article/details/52717470，将该文章中两个java类复制到工程中，正常编译后不会报错；

6 在windows环境变量中添加HADOOP_HOME，值为hadoop根目录。

如HADOOP_HOME F:/software/hadoop-2.6.0

7 在系统环境变量中添加hadoop的bin目录，在PATH结尾添加：%HADOOP_HOME%\bin；

8 下载winutils.exe。https://github.com/srccodes/hadoop-common-2.2.0-bin，直接下载此项目的zip包（页面右上角download图标），下载后是文件名是hadoop-common-2.2.0-bin-master.zip,解压到一个目录，将/bin/winutils.exe复制到hadoop根目录bin目录下，如/hadoop-2.6.0/bin/winutils.exe。

9 下载hadoop.dll。https://pan.baidu.com/disk/home?#/all?vmode=list&path=%2F%E6%8A%80%E6%9C%AF%E7%AB%99%2F%E5%A4%A7%E6%95%B0%E6%8D%AE%2F%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%8E%AF%E5%A2%83，下载解压，将hadoop.dll分别复制到/hadoop-2.6.0/bin和 C:\windows\system32目录下。

10 在src文件夹下创建以log4j.properties命名的文件
文件内容如下

log4j.rootLogger=WARN, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d%p [%c] - %m%n

11 eclipse中运行HsdfUtilsTest.java测试用例，正常测试用例可以全部通过。

注：hadoop hdfs根目录下请先新增user文件夹，代码中使用该文件夹。暂未测试/user不存在是否会报错。

重要的是：
生产环境上面不允许本地环境连接集群的，所以这个方式是不对的额，只能是打成JAR，在集群上面验证。