内容大概:
1.在伪分布式环境条件下,更改配置,搭建完全分布式环境
2.配置好Java环境,使用JDK1.8
3.配置好Hadoop环境,使用版本是Hadoop2.7.3
4.启动HDFS分布式文件系统以及yarn运算框架
5.使用浏览器,访问并查看启动是否正常(http://ip:50070和http://ip:8088)
遇到的问题:
1.在伪分布式环境条件下,更改配置,搭建完全分布式环境
2.配置好Java环境,使用JDK1.8
3.配置好Hadoop环境,使用版本是Hadoop2.7.3
4.启动HDFS分布式文件系统以及yarn运算框架
5.使用浏览器,访问并查看启动是否正常(http://ip:50070和http://ip:8088)
遇到的问题:
1.使用完全分布式,最开始就需要让master节点和分支节点slave之间可以无密码相互登陆,所以需要先在master节点上面ssh-keygen -t rsa -p '' 产生 .ssh 文件夹,将公钥加入一直authorized_keys中,再将公钥共享给Slave,自己手动建立.ssh文件,后面同样操作,在master节点上面ssh Slave,连接成功,再在Slave上面ssh master。这里使用ssh 主机名 ,必须先在etc/hosts下面写上主机名和其对对应的ip,否则直接使用ssh ip。
2.namenode格式化的时候,报错,错误是权限不足,不能创建tmp/data和tmp/name,这里是因为最开始时候,没有使用用户组,所以应该讲当前用户加入对应的用户组,将整个hadoop文件的所属用户以及用户组改为当前用户,这样才可以格式化的时候创建tmp/data和tmp/name,但是多次格式化会导致ID不一致,会导致后面启动HDFS启动不了,所以每次格式化之前需要将logs下面的文件和tmp/data和tmp/name删除,再格式化。
3.虚拟机上的HDFS和Yarn运算框架启动成功,但是使用外部eclipse链接的时候,创建目录时候,权限不够,问题还未 解决。
4.使用java自带的jps,查看进程如图片,说明HDFS和Yarn启动成功。
To be Continued...........