Hadoop完全分布式搭建成功效果

内容大概:
1.在伪分布式环境条件下,更改配置,搭建完全分布式环境
2.配置好Java环境,使用JDK1.8
3.配置好Hadoop环境,使用版本是Hadoop2.7.3
4.启动HDFS分布式文件系统以及yarn运算框架
5.使用浏览器,访问并查看启动是否正常(http://ip:50070和http://ip:8088)

遇到的问题:

1.使用完全分布式,最开始就需要让master节点和分支节点slave之间可以无密码相互登陆,所以需要先在master节点上面ssh-keygen -t rsa -p '' 产生 .ssh 文件夹,将公钥加入一直authorized_keys中,再将公钥共享给Slave,自己手动建立.ssh文件,后面同样操作,在master节点上面ssh Slave,连接成功,再在Slave上面ssh master。这里使用ssh 主机名 ,必须先在etc/hosts下面写上主机名和其对对应的ip,否则直接使用ssh ip。

2.namenode格式化的时候,报错,错误是权限不足,不能创建tmp/data和tmp/name,这里是因为最开始时候,没有使用用户组,所以应该讲当前用户加入对应的用户组,将整个hadoop文件的所属用户以及用户组改为当前用户,这样才可以格式化的时候创建tmp/data和tmp/name,但是多次格式化会导致ID不一致,会导致后面启动HDFS启动不了,所以每次格式化之前需要将logs下面的文件和tmp/data和tmp/name删除,再格式化。

3.虚拟机上的HDFS和Yarn运算框架启动成功,但是使用外部eclipse链接的时候,创建目录时候,权限不够,问题还未 解决。

4.使用java自带的jps,查看进程如图片,说明HDFS和Yarn启动成功。



To be Continued...........

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值