基于虚拟机的hadoop分布式集群搭建（搭建成功）

【正式安装】

1. 安装VMware、安装ubuntu16.04

网上很多教程，这里不详述
注意事项：

（1）安装顺序：虚拟机节点先安装一个，完成基本配置后通过“克隆”的方式复制另外两个，这样既可以保证环境统一，又比较方便。

（2）网络连接：选择NAT方式。建议最好手动把IP地址固定下来，避免动态分配的时候错乱。

（3）防火墙：关闭防火墙，避免出现后面不必要的麻烦，chkconfig iptables off。

2. 安装vim和ssh

（1）安装vim

sudo apt-get install vim

（2）安装ssh

apt-get install openssh-server

PS：可以通过service ssh status 查看ssh状态。

3. 修改hostname

vim /etc/hostname

修改HOSTNAME的值为master。

4. 修改hosts

无论虚拟机suspend还是暂停, 每次机器重启后ip都会自动+1, 而且开机刚进入虚拟机时ip不变, 是过一会儿才自动变化的.

所以需要固定IP

vi /etc/hosts

127.0.0.1       localhost

192.168.190.131    master

192.168.190.132    slave01

192.168.190.133    slave02

192.168.190.134    slave03

5. 安装jdk

（1）解压：

tar -zxvf jdk1.7.0_79.tar /usr/lib/java [可以替换成你安装的路径]

（2）修改环境变量：

vim /etc/profile

在最下面添加：

export JAVA_HOME=/usr/lib/java/jdk-13.0.1
export PATH=$JAVA_HOME/bin:$PATH

修改完后，让配置文件生效：

source /etc/profile

6. 安装hadoop

（1）解压：

tar -zxvf hadoop-2.6.5.tar.gz /opt/ [可以替换成你安装的路径]

（2）修改环境变量

vim /etc/profile

在最下面添加：

export HADOOP_HOME=/opt/hadoop-2.6.5
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

修改完后，让配置文件生效：

source /etc/profile

7. 克隆

通过VMware克隆另外两个节点出来，参照4中的配置修改IP地址和hostname。（不要链接克隆，选择完整克隆）

8. 配置ssh，实现免密码登录

（1）在三台机器上分别执行如下命令，一路按回车即可。

ssh-keygen -t rsa

（2）刚生成的文件保存在~/.ssh/下，进入命令

cd /home/eric/.ssh

进入.ssh隐藏文件夹内，输入ls可以看到id_rsa，私钥和id_rsa.pub，公钥，复制公钥到authorized_keys

cp id_rsa.pub authorized_keys

（3）做ssh认证

将master公钥追加到slave01的authorized_keys里面， 使master免登陆进入slave01

scp eric@master:/home/eric/.ssh/id_rsa.pub ./master.rsa.pub
cat master.rsa.pub >> authorized_keys

将slave01公钥追加到master的authorized_keys里面，使slave01免登陆进入master

scp eric@slave01:/home/eric/.ssh/id_rsa.pub ./slave01.rsa.pub
cat slave01.rsa.pub >> authorized_keys

slave02同理

如果遇到仍然需要密码的情况执行以下操作：

（一）修改文件"authorized_keys"权限

chmod 600 ~/.ssh/authorized_keys

（二）设置SSH配置

sudo vim /etc/ssh/sshd_config

在末尾添加一下文本

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

（三）重启

service sshd restart

建议：最好是三台都互相免密码登录，不只是从master到另外两台。

（4）测试：

本地测试环路

ssh localhost

出现Welcome to Ubuntu 16.04 LTS (GNU/Linux 4.4.0-21-generic x86_64)即可

ssh slave01

看是否不用密码就可以登录过去，直接进入，表示成功。

（5）常用命令

/etc/init.d/ssh start
/etc/init.d/ssh restart
/etc/init.d/ssh stop

9. 修改hadoop基本配置

我用的是hadoop-2.6.5，其实配置大同小异。

在hadoop安装路径下新建文件夹，我的位置在/opt/hadoop-2.6.5/

mkdir dfs  
mkdir dfs/name  
mkdir dfs/data  
mkdir tmp

转到配置路径下

cd /opt/hadoop-2.6.5/etc/hadoop/

（1）配置文件：core-site.xml

在<configuration></configuration>里添加如下内容：

<configuration>  

    <property>  

        <name>fs.defaultFS