搭建hadoop2.8.3版本的完全分布模式集群
1.创建用户,更改主机名及hosts文件,并配置ssh。
创建用户(所有机器均要操作)
本例中为名为hadoop的linux系统用户
先创建其组,命令:groupadd hadoop
再创建用户,命令:useradd – m hadoop,m表示自动创建用户的登录目录
为用户hadoop创建密码,命令:passwd hadoop,之后按提示设置密码即可
chmod u+w /etc/sudoers 将文件设为可修改,以增加hadoop的sudo权限
编辑/etc/sudoers文件。找到这一行:"root ALL=(ALL) ALL"在起下面添加"hadoopALL=(ALL) ALL",然后保存退出。
修改主机名(所有机器均要操作)
--centos上永久修改主机名,修改文件:/etc/sysconfig/network中的HOSTNAME项,重启后生效。
--ubuntu系统中为修改/etc/hostname文件
修改hosts文件(所有机器均要操作)
在/etc/hosts中加入主机名与IP地址的对应
如10.32.149.32 master
生成ssh公钥(在master端操作)
切换到hadoop用户,执行一下ssh localhost,目的是生成ssh相关目录
运行ssh-keygen –t rsa以生成公钥,有提示直接按回车即可,直到出现指纹码
运行以下三个命令,将公钥加入授权,并改变文件权限
cd ~/.ssh/
cat id_rsa.pub >> authorized_keys
chmod 600 ./authorized_keys
配置master主机自身连接(ssh localhost)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
##不加这句话不好使
chmod 600 ~/.ssh/authorized_keys
##验证
ssh localhost
将公钥传至slave端(在master端操作)
使用scp将master上生成的公钥传至slave,格式如:
scp ~/.ssh/id_rsa.pub hadoop@ zhangys-HVM-domU
:/home/hadoop/.ssh
在slave端配置master端传来的公钥(在slave端操作)
在slave上执行
cd /home/hadoop/.ssh
cat id_rsa.pub >> authorized_keys
这样,在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了
2.安装java环境
略。
3.安装Hadoop(此处内容以hadoop用户操作为例)
进入到指定文件夹,这里为usr/local目录
执行“wget http://archive.apache.org/dist/hadoop/common/hadoop-2.8.3/hadoop-2.8.3.tar.gz”在线获取hadoop安装包
解压“tar -xzvf hadoop-2.8.3.tar.gz”
4.配置hadoop
略(好多教程)
5.格式化namenode
执行hdfs namenode -format
6.进入/hadoop-2.8.3/sbin中执行./start-all.sh
7.jps查看