大数据学习之路----HDFS与Eclipse的搭建----集群外提交

最新推荐文章于 2022-09-29 23:30:54 发布

十五亿程序员的希望

最新推荐文章于 2022-09-29 23:30:54 发布

阅读量3.2k

点赞数 8

本文链接：https://blog.csdn.net/qq_43713258/article/details/91884926

版权

本文介绍了如何通过Eclipse配置HADOOP_HOME、HADOOP_USER_NAME等环境变量，以及如何将Hadoop-eclipse-plugin-2.6.0.jar添加到Eclipse的plugins目录中，以实现Eclipse作为client与HDFS集群的连接。在Eclipse中新建Map/Reduce Locations，设置DFS Master为虚拟机IP和端口，完成Hadoop环境配置。接着在Eclipse的Java Build Path中导入所需jar包，并创建存放虚拟机配置文件的文件夹，从而实现集群外提交文件操作。

摘要由CSDN通过智能技术生成

使用Eclipse来充当client来对集群中的文件进行上传下载
一、环境搭建
就像搭建java环境变量一样，在我的电脑>>>属性>>>高级系统设置>>>环境变量中可以看到有之前我们配置的系统变量JAVA_HOME,同样我们首先配置HADOOP_HOME
在这里插入图片描述
第二我们要配置HADOOP_USER_NAME

这里的名字一定要和虚拟机管理员的名字一致

第三就是要修改Path
在下面加入 %HADOOP_HOME%\bin

环境变量准备好之后我们就要开始建立Elicpse的搭建了
二、Eclipse搭建
1.在启动Eclipse启动之前将Hadoop-eclipse-plugin-2.6.0.jar复制到Eclipse的安装目录下的plugins中，这个jar包就是Hadoop和eclipse建立连接的文件
2.启动Eclipse在window找Show view >>>Map/Reduce Locations
在这里插入图片描述
打开后右键点击第一个新建Hadoop