linux下Hadoop2.7.2集群部署日志

一、本人部署过程中踩到的一些雷,供参考,少走弯路:
1)集群所有服务器安装的hadoop路径必须一致(也就是slave服务器hadoop安装路径需要和master一致)
2)先处理好主机名和hosts文件,部署hadoop
3)需要往hadoop-env.sh文件重新引入JAVA_HOME路径

4)需要在$HADOOP_HOME/etc/hadoop路径下,创建或修改slaves文件,加入slave服务器名

二、linux下Hadoop2.7.2集群部署日志
(1)准备环境
a\ jdk1.7以上
b\ hadoop2.7.2版本
c\ 3台linux系统服务器(本人是redHat6.4):要求安装SSH
(2)详细安装步骤见:http://blog.csdn.net/dream_an/article/details/52946840
(3)可能遇到的问题
1、集群ssh免密登录配置时,命令“ssh-copy-id -i ~/.ssh/id_rsa.pub 主机名“无法执行,可以将主节点的~/.ssh/id_dsa.pub文件复制到集群中的所有节点。然后通过以下命令(如果authorized_keys文件不存在,则运行以下命令。否则,跳到cat命令):

touch ~/.ssh/authorized_keys&&chmod 600 ~/.ssh/authoriized_keys
// 配置权限设置,将密钥写入~/.ssh/authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

2、在配置slaves文件时,把原文件里的localhost去掉,保证主节点只做为NameNode,不为DataNode

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值