hadoop 部署

1 groupadd hadoop useradd -ingroup hadoop hadoop // 在自己的机器上有个问题。即我把home目录单独分区了。但是home目录的权限问题不对。可能下次重启还需设置。
2. 配置ssh无密码登录, 基础的部分网上都有,其中由两个需要注意的地方。
2.1 authorizedkeys 文件的权限一定要修改,尤其是在你自己生成的时候。 chmod 600 一定要这样
2.2 /etc/sshd/下的配置,要配置允许免密码登录
3. datanode 起不来了
3.1 hdfs namenode -format 了多次,可能造成版本不一致。 清空一下/tmp 和hadoop相关的文件,重新format一下。
3.2 端口被霸占了。 可能你启动过多次了,这是可能你利用 jps已经查看不出来那些java进程了。利用
netstat 查看是不是这样,如果是kill掉这些进程。
3.3 最最重要的,一定要看log文件。
4 eclipse hadoop 插件问题
自己新建了一个hadoop用户,建hadoop 的插件扔到了eclipse的plugin目录下,重启eclipse,hadoop插件出现。
起初猜想是我的安装的方式有问题。
通过配置 configuration/config.ini 还有通过把eclipse安装目录下的configuration/org.eclipse.update和runtime的目录整个删除,重启eclipse 都没有作用。 并且发现在我的hadoop用户下,org.eclipse.update并没有重新建立。
猜想,是我的用户的权限问题。 果然,切换到了我原来安装eclipse的用户下,hadoop插件显示没有问题。
最后,通过chmod 临时性的解决了我的问题。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值