在安装Hadoop框架时我遇到了一些小问题,接下来总结一下:
1.我犯的第一个错误是SecureCRT连接不到我的Linux
配置静态IP时把/etc/sysconfig/network-scripts/ifcfg-enp2s0改成了/etc/sysconfig/network-scripts/ifcfg-eth0,所以才ping不通服务器,通过命令ifcofig查看网卡才又重新配置了一下,然后就SecureCRT就可以连上linux了
2.格式化hadoop后datanode没有起
hadoop namenode -format 后会在namenode数据文件夹(配置hdfs-site.xml文件的dfs.namenode.name.dir属性)中创建一个VERSION文件(/data/hadoop/namenode/current)
当你启动hdfs(start-dfs.sh命令)也会在datanode数据文件夹(配置hdfs-site.xml文件的dfs.datanode.data.dir属性)中创建一个VERSION文件(/data/hadoop/datanode/current)
原因是由于重新格式化导致datanode文件中的clusterID与namenode中的clusterID不一致,所以导致守护进程datanode没启动
解决方法就是把/data/hadoop下的文件全部删除,重新hadoop namenode -format格式化就可以了
当然如果不删除数据文件的话,格式化过程中在是否覆盖ID中输入‘N’就可以了
3.hdfs50070页面和yarn8088页面打不开
虽然查看了配置文件并没有发现什么问题,而且启动也正常jps后各个守护进程也都起来了。百度后并没有什么卵用,在重新确定配置没有什么问题后,我开始意识到可能是缺少Windows执行环境呢?因为服务器是远程连接的,所以只需要将hadoop.dll文件放到C:\Windows\System32\目录下,然后打开master:8088和master:50070发现页面打开,既可以查看hdfs下文件的,查看yarn程序的运行状态和资源状况
4.服务器ping不通外网(IP可以ping通,域名ping不通)
只需添加域名解析dns服务器即可:cd /etc/sysconfig/network-scripts/ifcfg-enp2s0
DNS1=8.8.8.8
DNS2=8.8.4.4
查看cat /etc/resolv.conf
nameserver 8.8.8.8
nameserver 8.8.4.4