【Hadoop】在Linux中的Hadoop部署与yarn HDFS MapReduce 的配置中常见的问题?你解决了吗?

(1)    浏览器问题

    当你配置都完成了,你输入主机名+端口号去访问时,不能访问,但是你得确定前面的配置的哪些步骤都没有错,这可能是你浏览器的问题,我推荐用Chrome或者火狐,这两个基本上是可以的。

(2)    域名问题

    当你输入IP地址+端口号能访问时,这时你就得看看你的Windows上的映射是否配置成功,可能是在你在配置Windows中的映射的时候配置错了或者是你没有配置。C:\Windows\System32\drivers\etc\hosts记得去查看是配置,如果配置了,那可能是你Linux上的映射没有配置,vi /etc/hosts,记得去查看是否配置。

(3)    jdk问题

       当出现这个问题时,可能是你jdk的安装出现问题:常见的问题是系统自带的openjdk 没有卸载,查看是否卸载的命令:

 sudo rpm -qa |grep java  如果没有卸载,卸载的命令是: sudo rpm -e --nodeps  jdkname,若卸载了,那么问题可能是环境变量配置的问题:需要在 sudo vi /etc/profile 配置#JAVA_HOME,export JAVA_HOME=/opt/modules/jdk1.8.0_91

export PATH=${PATH}:${JAVA_HOME}/bin,jdk才能生效。使其生效的命令是source  /etc/profile,验证是否安装成功:Java -version,若都没有错那就是别的问题了。

   还有记得修改3个模块的环境变量(*.env)hadoop-env.sh、 yarn-env.sh、mapred-env.sh       JAVA_HOME,把安装好的jdk路径写进去。

(4) 还是域名问题,

   当前面的错都没有,这时你就需要考虑是否是你的域名是否输错,这时候尽量不要去自己打,尽量是去复制,因为打会出错,域名一般是主机名+端口号,可以通过命令hostname来查看主机名然后加上端口号就可以了。也可能是主机名与映射中配置好的不一样。

(5)权限问题

 可能是这个文件不是该用户的或者是该用户没有读、写的权限,这时需要去给该用户分配权限。这时分配的命令 chown -R  huadian:Huadain hadoop-2..../*,如果这个都没有错,那可能是下面这个问题,还可能就是先建的目录的权限是root用户,需要修改权限。

(6)防火墙问题

   前面几个问题都没有,那可能是防火墙的问题,这里是几个与防火墙有关的命令:

查看防火墙是否运行的命令:service iptables status        临时关闭:service  iptables stop 

chkconfig  iptables  --list  查看是否关闭成功   如果这些问题都没有,那么基本上是可以了,说明你的配置已经好了,环境搭配已经完成。还有没有关闭防火墙的安全机制,命令是vi /etc/selinux/config ,设置SELINUX=disabled,然后保存退出。

 

(7)其他的问题

当你配置好HDFS之后,去格式化时,出现格式之后的状态为1或者其他,为0是成功的,出现前者,要不就是你格式化了多次,也可能是你的权限问题。如果是格式化了多次,你需要去重新启动虚拟机,然后再试一试。这时候应该就可以了。当你输入一些命令出错时,请认真检查是否是命令些写错或者是相关的目录没有写对,还有配置文件是否配置正确,在配置文件中写配置内容时千万不要加空格或者换行这个,不然会报错。

以上就是在配置Hadoop中的一些配置文件以及环境的搭建中常见的问题,以上是我的总结希望可以帮助到大家。

  • 6
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值