java hdfs 2.0_win7环境Eclipse中运行JAVA项目读取HDFS（hadoop-2.7.2）中的文件实例与问题汇总...

1、本例写在web项目中，所以implements ServletContextListener，为了启动项目时直接启动。读者尽可忽略，只关注contextInitialized()函数中的内容即可。

package com.java.hdfstest;

import java.io.IOException;

import java.net.URI;

import javax.servlet.ServletContextEvent;

import javax.servlet.ServletContextListener;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IOUtils;

public class HDFSReaderTest implements ServletContextListener{

@Override

public void contextDestroyed(ServletContextEvent arg0) {

}

@Override

public void contextInitialized(ServletContextEvent arg0) {

System.setProperty("hadoop.home.dir", "C:\\Users\\Administrator\\Desktop\\hadoop-common-2.7.1-bin-master");

String uri="hdfs://192.168.x.xxx:9000/user/hadoop/flume/FlumeData.1471489138770";

Configuration conf = new Configuration();

try {

FileSystem fs = FileSystem.get(URI.create(uri),conf);

Path path = new Path(uri);

FSDataInputStream in = fs.open(path);

IOUtils.copyBytes(in, System.out, 4096, true);

} catch (IOException e) {

e.printStackTrace();

}

}

}

2、需要的jar包，原本只添加了hadoop-common-2.7.2.jar，已经包含了调用的class，但是在调试过程中会相继报错提示缺少的jar包，逐步完善即可。

3、System.setProperty("hadoop.home.dir", "C:\\Users\\Administrator\\Desktop\\hadoop-common-2.7.1-bin-master");的意思

在调试过程中出现

1)、 Failed to locate the winutils binary in the hadoop binary path......

2)、null/bin/winutils.......的错误。

查找资料得，在windows环境下需要hadoop目录下的bin目录的下的winutils.exe

而null/bin/winutils是因为windows环境下缺少hadoop的环境变量。(貌似是这样)

所以直接在代码中配置hadoop.home.dir 为本地的一个文件路径，路径中有bin文件，包含hadoop的bin。

本例中，从github:https://github.com/SweetInk/hadoop-common-2.7.1-bin下载了2.7.1的windows需要的运行库(64位)。虽然本文hadoop是2.7.2但是版本号似乎影响不大，github上还有2.2.0的，查到有人用也没问题。

4、Caused by: java.net.ConnectException: Call From ........... failed on connection exception: java.net.ConnectException: Connection refused: no further information;

运行时遇到这个问题，用windows的cmd输入 telnet  192.168.x.xxx(HDFS的IP)  9000

测一下能不能通，不能通，应该就是hadoop的所在的服务器防火墙没关。关掉firewall，如果用的iptables也关了。就好了。