【Hadoop进阶之路】Hadoop部署过程中遇到的问题

去年研究过一阵子Hadoop,当时也只是部署了一个单机版和集群版的Hadoop系统,后来就放下了。


这次重新学习Hadoop,就根据记忆和网上的一些资料,重新在VMware虚拟机上部署了一个集群版的Hadoop系统,期间遇到各种问题(好几个感觉还是去年遇到过的,但当时的笔记丢失……早知道写博客多好~)。


部署过程还是挺简单,主要参考:

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html  这个博客。


问题点:

1、关闭防火墙。service iptables stop

这个问题困扰我好久,我也知道要关闭防火墙,但都是用普通用户执行,后来猛然间想起这个得用root权限执行,才恍然大悟……

2、配置hadoop.tmp.dir属性(core-site.xml文件中)。

这个改为/usr/hadoop/tmp 。系统默认的目录每次重启都会被干掉,得重新定义一个。



!!!!!!!!

3、我在配置完成后,启动Hadoop总是会发现无法启动DataNode,有时也启动不了集群节点(在集群节点jps查询没有东西)。

使用Hadoop dfsadmin -report检查,发现如下问题:


为什么需要超级权限呢?我的Hadoop目录和/usr/hadoop/tmp目录全部都将权限给了当前用户,而且参照网上观点,将hdfs-site.xml添加一个属性:

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

但还是不行。而用root用户则可以正常使用。待解决……

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值