hadoop2.8.3linux环境安装

搭建hadoop2.8.3版本的完全分布模式集群

1．创建用户，更改主机名及hosts文件,并配置ssh。

创建用户（所有机器均要操作）

本例中为名为hadoop的linux系统用户

先创建其组，命令：groupadd hadoop

再创建用户，命令：useradd – m hadoop，m表示自动创建用户的登录目录

为用户hadoop创建密码，命令：passwd hadoop，之后按提示设置密码即可

chmod u+w /etc/sudoers 将文件设为可修改，以增加hadoop的sudo权限

编辑/etc/sudoers文件。找到这一行："root ALL=(ALL) ALL"在起下面添加"hadoopALL=(ALL) ALL"，然后保存退出。

修改主机名（所有机器均要操作）

--centos上永久修改主机名，修改文件：/etc/sysconfig/network中的HOSTNAME项，重启后生效。

--ubuntu系统中为修改/etc/hostname文件

修改hosts文件（所有机器均要操作）

在/etc/hosts中加入主机名与IP地址的对应

如10.32.149.32 master

生成ssh公钥（在master端操作）

切换到hadoop用户，执行一下ssh localhost，目的是生成ssh相关目录

运行ssh-keygen –t rsa以生成公钥，有提示直接按回车即可，直到出现指纹码

运行以下三个命令，将公钥加入授权，并改变文件权限

cd ~/.ssh/

cat id_rsa.pub >> authorized_keys

chmod 600 ./authorized_keys

配置master主机自身连接（ssh localhost）

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
##不加这句话不好使
chmod 600 ~/.ssh/authorized_keys
##验证
ssh localhost

将公钥传至slave端（在master端操作）

使用scp将master上生成的公钥传至slave，格式如：

scp ~/.ssh/id_rsa.pub hadoop@ zhangys-HVM-domU

:/home/hadoop/.ssh

在slave端配置master端传来的公钥（在slave端操作）

在slave上执行

cd /home/hadoop/.ssh

cat id_rsa.pub >> authorized_keys

这样，在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了

2．安装java环境

略。

3．安装Hadoop（此处内容以hadoop用户操作为例）

进入到指定文件夹，这里为usr/local目录

执行“wget http://archive.apache.org/dist/hadoop/common/hadoop-2.8.3/hadoop-2.8.3.tar.gz”在线获取hadoop安装包

解压“tar -xzvf hadoop-2.8.3.tar.gz”

4．配置hadoop

略（好多教程）

5.格式化namenode

执行hdfs namenode -format

6.进入/hadoop-2.8.3/sbin中执行./start-all.sh

7.jps查看