《HDFS 3》--IDE集成HDFS的搭建、客户端访问HDFS或读写数据的两种方式

【IDE集成HDFS的搭建】

   (1) IDE作为可视化客户端连接HDFS
        第一步：安装插件
               将hadoop-eclipse-plugin-2.7.3.jar放入eclipse的plugins目录下
        第二步：在窗口 map/reduce location下新建连接
            location name:就是昵称，随便填写。192.168.80.220
            Map/reduce master:
            host： HDFS的namenode所在的主机IP地址/主机名
            port:  HDFS的namenode的port+1
            DFS master:
            host： HDFS的namenode所在的主机IP地址/主机名
            port:  HDFS的namenode的port
            User name：使用集群的名称

  权限问题：
        在eclipse上不管是操作可视化界面还是api,都会碰到权限问题，
  原因：
        window系统的用户 与HDFS的用户 不是同一个。
        
  解决办法：
          1)将windows的用户改为与HDFS的用户名一致。
          2)修改HDFS的根目录及子目录的权限为777/757

   (2)使用java API接口操作HDFS    
     【API开发的运行环境配置】
           1)在Windows下解压Hadoop-2.7.3.tar.gz
           2)配置hadoop
                  在windows->preferences->Hadoop map/reduce里面，
          配置hadoop的安装路径(根目录)
           3)配置环境变量
                  HADOOP_HOME:  D:\hadoop-2.7.3\hadoop-2.7.3
              PATH:%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
           【注】新建项目myhadoop01后，需要使用hadoop的jar包及其依赖包，
                 因此在做开发时，需要导入Hadoop的jar包
     
            在写代码时，会出现Log4J警告：
                解决办法：将hadoop-2.7.3\etc\hadoop\
                      下的log4j.properties文件复制到src下
     
         如果出现异常：Could not locate executable %HADOOP_HOME%\bin\winutils.exe in the Hadoop binaries.
             解决办法：把winutils和hadoop.dll 复制到%HADOOP_HOME%\bin\里面
==========================================================================
==========================================================================
    

【API】

1)使用java.net.URL来访问HDFS
  static {
    URL.setURLStreamHandlerFactor