学习 HDFS的JavaAPI操作

一、HDFS的JavaAPI操作

之前我们都是用HDFS Shell来操作HDFS上的文件，现在我们通过编程的形式操作HDFS，主要就是用HDFS中提供的JavaAPI构造一个访问客户对象，然后通过客户端对象对HDFS上的文件进行相应的操作（新建、上传、下载、删除等）。

1、常用的类

（１）Configuration：该类的对象封装了客户端或服务器的配置

（２）FileSystem：该类的对象是一个文件系统对象，通过该对象调用一些他的方法，从而实现对文件的操作。

mkdirs(Path f)	新建子目录
copyFromLocalFile(Path src,Path dst)	从本地磁盘复制文件到HDFS
copyToLocalFile(Path src,Path dst)	从HDFS复制文件到把我弄得磁盘

2.HDFSAPI开发的步骤

（1）在HDFS上创建文件夹

     A.设置客户端身份，以具备权限在hdfs上进行操作

        System.setProperty("HADOOP_USER_NAME","root”);

     B.与HDFS建立连接

         a.创建配置对象实例

      Configuration conf = new Configuration();

         b.设置操作的文件系统是hdfs，并且指定hdfs的操作地址

      conf.set("fs.defaultFS","hdfs://192.168.204.125:9000");

         c.创建FileSystem对象

           FileSystem fs = FileSystem.get(conf);

         d.断开与HDFS平台的连接

            fs.close();

     C.判断要创建目录是否存在，不存在则创建

 （2）在HDFS上传文件

 （3）从HDFS上下载文件

 （4）从HDFS上删除文件

在IDEA中的实例：

 需要注意的以下几点：

1）导入Configuration时必须是hadoop.conf.Configuration

     导入FileSystem时必须是hadoop.fs.FileSystem

     导入Path时必须是hadoop.fs.Path

2)"fs.defaultFS","hdfs://192.168.204.125:9000"此处可以在虚拟机中配置hadoop下的core-site.xml文件里查看

 注意这里的master1即192.168.204.125（linux下可以直接写master1主机名，是因为配置hadoop时做了hosts映射，而IDEA中没有做hosts映射，所以必须写192.168.204.125这样的主机ip）

3)"hdfs://（192.168.204.125）:9000"此处的ip是虚拟机中的master主机的ip

IDEA中运行错误：

1）首先在电脑本地下载一个Hadoop安装包，后解压，将解压后的hadoop-2.4.1、winutils.exe 和hadoop.dll这三个文件放到同一目录下

2）将log4j.properties文件粘贴到IDEA中创建的类的对应src下

3）将winutils.exe 和hadoop.dll放到解压好的hadoop-2.4.1的bin目录下

4）配置hadoop坏境变量：

此电脑----属性----高级系统设置----环境变量----新建：

变量值必须是你所解压的hadoop-2.4.1的路径

在系统变量中找path变量将hadoop引用进去

path----编辑----新建----添加一行：%HADOOP_HOME%\bin 

5） Windows键+R：打开cmd，输入hadoop，后输入hadoop version

 hadoop环境变量配置完成

6）重启IDEA后重新运行

7）依旧报错：

a.查看虚拟机中hadoop是否启动，jps后进程是否都有

b.若没有namenode或datanode：进去到hadoop目录下的dfs下，删除dfs（rm -rf）下的所有文件，后命令行中输入hdfs namenode -format（格式化hdfs命令），重新启动hadoop：start-all.sh

c.如果是格式化重启hadoop后是有namenode没有datanode或者有datanode没有namenode这种情况时：

原因：

可能是当我们使用hadoop namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径）中保存一个current/VERSION文件，记录clusterID，datanode中保存的current/VERSION文件中的clustreID的值是上一次格式化保存的clusterID，这样，datanode和namenode之间的ID不一致。

解决方法：

在dfs/name目录下找到一个current/VERSION文件，记录clusterID并复制，后dfs/data目录下找到一个current/VERSION文件，将其中clustreID的值替换成刚刚复制的clusterID的值即可；重新启动hadoop，jps就有了

d.继续报错：

 

这样的错误，首先可以打开192.168.204.125：50070网址查看Live Nodes

 

若显示为1，则证明slave1和slave2中node进程没有

解决方法：

在master1主机中重新给slave1和slave2中传输即可 

 重新启动hadoop，然后jps就有了

然后重新启动IDEA，重新运行