HDFS客户端搭建与Java API操作HDFS

HDFS客户端搭建

为什么不建议使用集群内操作？
如果每一次上传文件都是选择某一台DN作为客户端，就会导致这个节点上的磁盘以及网络I0负载超过其他的节点，久而久之这个节点的磁盘以及网卡性能远远低于其他节点，从而会导致数据的倾斜问题。

配置集群客户端的步骤：
1、找一台新的服务器，这台服务器必须能够与集群通信
2、将配置好的安装包原封不动的拷贝到新的服务器
3、配置环境变量方便操作HDFS集群

Java API操作HDFS

1.配置Hadoop环境变量以及用户名
添加环境变量HADOOP_HOME，值填写Hadoop的解压目录。
添加环境变量HADOOP_USER_NAME，值填写root，这是为了避免出现无权限操作文件的问题。

2.配置系统的hosts文件
修改C:\Windows/system32/drivers/etc/hosts
添加node节点对应的IP

3.配置eclipse插件
在eclipse安装目录dropins创建plugins目录，将hadoop-eclipse-plugin-2.6.0.jar放在里面。
重启eclipse。
在eclipse中切换MapReduce视图，配置Namenode所在服务器以及端口信息：

4.即可在eclipse中看到HDFS中的文件列表

5.新建一个项目，导入jar包，并添加到classpath。

将Hadoop安装目录中的hdfs-site.xml、core-site.xml放到source目录下。

6.操作HDFS

#列出HDFS文件列表
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
FileStatus[] statu = fs.listStatus(new Path(args[0]));
Path [] listPaths=FileUtil.stat2Paths(statu);
for(Path p:listPaths){
	System.out.println(p);
}

其它API可以参考 http://hadoop.apache.org/docs/r2.7.2/api/index.html