《HDFS 3》--IDE集成HDFS的搭建、客户端访问HDFS或读写数据的两种方式

最新推荐文章于 2024-05-01 02:15:42 发布

yk_3215123

最新推荐文章于 2024-05-01 02:15:42 发布

阅读量253

点赞数

本文链接：https://blog.csdn.net/yk_3215123/article/details/89930718

版权

本文详细介绍了如何在IDE中搭建与HDFS的连接，包括通过插件连接及使用Java API操作HDFS，涉及HDFS的访问、读写数据、配置环境变量以及解决常见问题的方法。

摘要由CSDN通过智能技术生成

【IDE集成HDFS的搭建】

(1)IDE作为可视化客户端连接HDFS
第一步：安装插件
   将hadoop-eclipse-plugin-2.7.3.jar放入eclipse的plugins目录下
第二步：在窗口map/reduce location下新建连接
   location name:就是昵称，随便填写。192.168.80.220
   Map/reduce master:
       host： HDFS的namenode所在的主机IP地址/主机名
       port: HDFS的namenode的port+1
   DFS master:
       host： HDFS的namenode所在的主机IP地址/主机名
       port: HDFS的namenode的port
       User name：使用集群的名称

 权限问题：
        在eclipse上不管是操作可视化界面还是api,都会碰到权限问题，
       
 原因：
        window系统的用户 与HDFS的用户 不是同一个。
        
 解决办法：
          1)将windows的用户改为与HDFS的用户名一致。
          2)修改HDFS的根目录及子目录的权限为777/757

(2)使用java API接口操作HDFS
【API开发的运行环境配置】
1)在Windows下解压Hadoop-2.7.3.tar.gz
2)配置hadoop
在windows->preferences->Hadoop map/reduce里面，
       配置hadoop的安装路径(根目录)
3)配置环境变量
HADOOP_HOME: D:\hadoop-2.7.3\hadoop-2.7.3
   PATH:%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
【注】新建项目myhadoop01后，需要使用hadoop的jar包及其依赖包，
因此在做开发时，需要导入Hadoop的jar包

在写代码时，会出现Log4J警告：
解决办法：将hadoop-2.7.3\etc\hadoop\
   下的log4j.properties文件复制到src下

如果出现异常：Could not locate executable %HADOOP_HOME%\bin\winutils.exe in the Hadoop binaries.
解决办法：把winutils和hadoop.dll 复制到%HADOOP_HOME%\bin\里面
==========================================================================
==========================================================================