第一个hadoop程序（java程序访问hadoop的hdfs文件系统中的文件）

1：hadoop2.7.3环境

2：阿里云服务器centos6.5，ip是：47.88.14.190

3：hadoop在伪分布式下运行的。

4：具体配置文件如下：

1）core-site.xml配置（ip地址最好不用localhost，不然不好测试）

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://47.88.14.190:9000</value>
        </property>
</configuration>

2）hdfs-site.xml配置（配置副本为1，也就是伪分布式）

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

3）mapred-site.xml

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>47.88.14.190:8021</value>
        </property>
</configuration>

5:注意，4中的配置文件的端口号很重要，因为java程序访问hadoop的时候就要用这些端口。

6：运行hadoop，执行sbin/start-all.sh

7：在centos6.5中执行，hadoop fs -mkdir /test

8：上传test.txt到hadoop的文件系统中去， hadoop fs -copyFromLocal /usr/text.txt  /test

9：新建一个java程序，读取hadoop文件系统中的/test/text.txt文件。（注意端口号9000就是core-site.xml中配置的端口号）

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;


public class FileSystemCat {
	public static void main(String[] args) throws Exception {
		String uri="hdfs://47.88.14.190:9000/test/test.txt";
		Configuration configuration=new Configuration();
		FileSystem fileSystem=FileSystem.get(URI.create(uri), configuration);
		FSDataInputStream in=null;
		in=fileSystem.open(new Path(uri));
//		FileStatus fileStatus=fileSystem.getFileStatus(new Path(uri));
//		byte[] buffer=new byte[1024];
//		in.read(4096, buffer, 0, 1024);
		IOUtils.copyBytes(in, System.out, 4096, false);
		IOUtils.closeStream(in);
	}
	
}

10：jar包问题，很多人，将我上面的代码拷贝到自己的eclipse中，发现缺少了jar，然后问题来了，我们需要导入哪些jar包呢？

我的建议是初学者安装hadoop-eclipse-plugins-2.7.3.jar插件,这个插件网上可以下载，安装后，可以直接右键新建Map/Reduce工程，自动帮我们导入hadoop开发需要的相关jar包，这样就不存在ClassNotFound异常了。