环境配置:CentOS7中Hadoop的安装和基本的配置(伪分布式的)
1.使用Eclipse中连接Hadoop插件
当前使用的插件在:我所使用的插件
将其放入plugins
中
重启Eclipse直到出现这个:
2.指定当前的installation directory
当前我所使用的HadoopJar的包在:我所使用的文件
3.开启Map/Reduce 的view
开启后的结果
4.编辑location
这里的location name随便写
DFS Master必须使用前面的core-site.xml中的fs.defaultFS中的内容(完全一致)
5.创建Map/Reduce项目
创建后的Map/Reduce项目为
6.开始访问(出现Connection refused错误)
点击(1)文件夹发现出现了错误:
Error:Call toCentOS/192.168.133.129:9000 failed on connection exception:java.netConnectExcetion: Connection refused:no further infomation
此时出现了问题不能连接当前的192.168.133.129:9000
7.开启当前所需要的端口
切换root权限开启端口让外界访问
firewall-cmd --zone=public --add-port=9000/tcp --permanent
firewall-cmd --zone=public --add-port=50090/tcp --permanent
firewall-cmd --zone=public --add-port=50070/tcp --permanent
//重启防火墙
systemctl restart firewalld.service
//重载配置文件
firewall-cmd --reload
发现可以通过本地的电脑是可以访问连接到192.168.133.129:50070
再次尝试连接还是Connection refused
错误
8.解决Connection refused
关闭当前的Hadoop:/sbin/stop-all.sh
发现当前的localhost被直接映射,所以无法使用当前的192.168.133.129连接
(Hadoop只能通过内部的localhost连接
)
1.修改当前的hosts文件
vi /etc/hosts
//向其中添加以下内容
192.168.133.129 hadoop
2.修改对应的文件
当前修改的core-site.xml文件的内容为:
修改后的hdfs-site.xml文件中的内容
修改后的mapred-site.xml文件的内容
修改slaves文件
以上就是修改所有的地址
3.重新启动当前的namenode格式化
bin/hdfs namenode -format
4.再次启动当前的hadoop
sbin/start-all.sh
在hadoop中创建一个空文件夹
hadoop fs -mkdir /input/
最后再次从当前的eclipse访问的结果:
此时出现了当前已经创建好的input文件,配置成功!
9.总结
1.使用eclipse连接当前的linux中的hadoop需要先添加插件
,再指定install dictionary
2.需要让当前的防火墙中开启可以访问的端口:9000
3.eclipe中需要编写hadoop的location,于当前的fs.defaultFS中的一致
4.出现了拒绝连接
的时候需要查看当前的hadoop的名称
(一定不能叫localhost这个就是一个坑
)
5.在eclipse中创建Map/Reduce Project
(会默认使用hadoop指定的location来连接)
以上纯属个人简介,如有问题请联系本人!