安装Hadoop时遇到的一些问题

在安装Hadoop框架时我遇到了一些小问题,接下来总结一下:

1.我犯的第一个错误是SecureCRT连接不到我的Linux

      配置静态IP时把/etc/sysconfig/network-scripts/ifcfg-enp2s0改成了/etc/sysconfig/network-scripts/ifcfg-eth0,所以才ping不通服务器,通过命令ifcofig查看网卡才又重新配置了一下,然后就SecureCRT就可以连上linux了

2.格式化hadoop后datanode没有起

      hadoop namenode -format 后会在namenode数据文件夹(配置hdfs-site.xml文件的dfs.namenode.name.dir属性)中创建一个VERSION文件(/data/hadoop/namenode/current)

       当你启动hdfs(start-dfs.sh命令)也会在datanode数据文件夹(配置hdfs-site.xml文件的dfs.datanode.data.dir属性)中创建一个VERSION文件(/data/hadoop/datanode/current)

        原因是由于重新格式化导致datanode文件中的clusterID与namenode中的clusterID不一致,所以导致守护进程datanode没启动

            解决方法就是把/data/hadoop下的文件全部删除,重新hadoop namenode -format格式化就可以了

       当然如果不删除数据文件的话,格式化过程中在是否覆盖ID中输入‘N’就可以了

3.hdfs50070页面和yarn8088页面打不开

       虽然查看了配置文件并没有发现什么问题,而且启动也正常jps后各个守护进程也都起来了。百度后并没有什么卵用,在重新确定配置没有什么问题后,我开始意识到可能是缺少Windows执行环境呢?因为服务器是远程连接的,所以只需要将hadoop.dll文件放到C:\Windows\System32\目录下,然后打开master:8088和master:50070发现页面打开,既可以查看hdfs下文件的,查看yarn程序的运行状态和资源状况

4.服务器ping不通外网(IP可以ping通,域名ping不通)

只需添加域名解析dns服务器即可:cd /etc/sysconfig/network-scripts/ifcfg-enp2s0

DNS1=8.8.8.8

DNS2=8.8.4.4

查看cat /etc/resolv.conf

nameserver 8.8.8.8

nameserver 8.8.4.4

    

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值