hadoop 常见问题+Windows下不能使用hostname的轻松解决

1.
NameNode离开安全模式
bin/hadoop dfsadmin -safemode leave
分布式文件系统启动开始的时候NameNode会进入安全模式,进行检查各个DataNode上数据块的有效性,根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式,此时文件系统中的内容不允许修改,直到安全模式结束。在NameNode操作不当也会进入安全模式,可以通过命令解除
2.
Exception in createBlockOutputStream
java.net.NoRouteToHostException: No route to host
Datanaode节点没有关闭防火墙
3.
Permission denied: user=admin, access=WRITE
常见于Eclipse执行涉及到操作HDFS的任务
Eclipse提交作业时,默认用windows的用户将作业写入HDFS文件系统(默认情况下在HDFS上会生成/user/admin目录),但此用户并没有hadoop目录的写入权限
解决办法:# hadoop fs -chmod -R 777 / 修改hadoop根目录权限,或修改某一目录权限
4.
在windows中添加IP地址映射,若不进行配置,在windows中只能使用虚拟机IP地址进行操作,不能使用hostname
在C:\Windows\System32\drivers\etc下的hosts文件中添加
192.168.1.221 master
192.168.1.222 slave1
192.168.1.223 slave2
若无法保存文件,原因是权限不足
右键-属性-安全-编辑-选择Users-在下方勾选修改和写入-确定
这里写图片描述

保存后,使用master:50070访问hdfs监控试验一下,已经生效

这里写图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值