大数据平台搭建（2）hadoop集群搭建

首先，用VMware虚拟机克隆第一篇已经配置好的Master，安装到虚拟机上，然后改名称为slave1，配置好这个虚拟机镜像后就可以继续克隆出更多的slaves!!

Hadoop 集群的安装配置大致为如下流程:

1. 选定一台机器作为 Master
2. 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
3. 克隆Master虚拟机作为slave
4. 在 Master 节点上安装 Hadoop，并完成配置
5. 将 Master 节点上的安装hadoop的 目录通过远程scp复制到其他 Slave 节点上
6. 在 Master 节点上开启 Hadoop

配置 hadoop 用户、安装 SSH server、安装 Java 环境在第一篇中有详细介绍。

1.克隆master虚拟机，然后把master和slave虚拟机的网络适配器改为桥接模式

2.修改hostname

修改各个节点的主机名（所有节点上）

sudo gedit /etc/hostname    #master改为master,slave为slave1
sudo gedit /etc/hosts       #修改自己所用节点的IP映射

windows下查看IP为ipconfig linux下为ifconfig

设置的ip最好和自己windows物理机的IP在同一网段

修改完成后需要重启一下，重启后在终端中才会看到机器名的变化。

然后修改ubuntu的IP地址，点击ubunt右上角连接网络按钮，点击edit connection，选择ethernet，点击add，然后设置

点击确认即可，然后ifconfig查看ip是否已经改动

之后互相pingIP即可 ping master     ping slave1

 

3.SSH无密码登陆节点、

这个操作是要让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上。

首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）

 

cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*            # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa       # 一直按回车就可以

cat ./id_rsa.pub >> ./authorized_keys    #让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行：完成后可执行ssh master验证（可能需要输入 yes，成功后执行 exit 返回原来的终端）

scp ~/.ssh/id_rsa.pub "usrname"@slave1:/home/"usrname"/     #拷贝密钥到slave

 

如图即可，接着在 slave1 节点上，将 ssh 公匙加入授权

 

mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub    # 用完就可以删掉了       

然后再master节点

ssh slave1

如图即为成功！然后exit命令可以退出,之后在配置时即可通过sssh远程配置

3.hadoop安装

把windows下的hadoop-2.7.3安装包复制到虚拟机的桌面，只能先点复制，到虚拟机点粘贴，不然拖过去会不完全复制

sudo tar -zxf ~/Desktop/hadoop-2.7.3.tar.gz -C /usr/BigData/    #直接解压到根目录，会生成文件夹
cd /usr/BigData/
 sudo mv ./hadoop-2.7.3 ./hadoop    # 将文件夹名改为hadoop
sudo chown -R "usrname" ./hadoop #修改权限！！！！特别重要
./hadoop/bin/hadoop version    #查看解压后是否可用

在分布式配置教程的最后，可以将 Hadoop 安装目录加入 PATH 变量中，这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了，需要在 Master 节点上进行配置。

sudo gedit ~/.bashrc
#修改为
export JAVA_HOME=/usr/BigData/jdk/jdk1.8.0_131
export PATH=$PATH:/usr/BigData/hadoop/bin:/usr/BigData/hadoop/sbin
#保存关闭
source ~/.bashrc

配置/hadoop/etc/hadoop下的五个文件，slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。

（1）slaves:将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost，也可以删掉，让 Master 节点仅作为 NameNode 使用。

本教程让 Master 节点仅作为 NameNode 使用，因此将文件中原来的 localhost 删除，只添加一行内容：save1。

(2)文件 core-site.xml 改为下面的配置：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/usr/BigData/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
</configuration>

(3)文件 hdfs-site.xml，dfs.replication 一般设为 3，但我们只有一个 Slave 节点，所以 dfs.replication 的值还是设为 1：

 

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/BigData/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/BigData/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

4.件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template），然后配置修改如下：

 

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

5.文件 yarn-site.xml：

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置好后，将 Master 上的 Hadoop 文件夹复制到各个节点上

如果之前有跑过集群的话就删除temp文件

master节点

cd /usr/BigData
sudo rm -r ./hadoop/tmp     # 删除 Hadoop 临时文件
sudo rm -r ./hadoop/logs/*   # 删除日志文件
tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
cd ~
scp ./hadoop.master.tar.gz slave1:~/hadoop.tar.gz

slave节点

sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
sudo tar -zxvf ~/hadoop.master.tar.gz -C /usr/BigData
sudo chown -R "usrname"/usr/BigData/hadoop

首次启动需要先在 Master 节点执行 NameNode 的格式化（只是首次，之后不能）

hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

#接着可以启动 hadoop 了，启动需要在 Master 节点上进行
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver


#抑或直接用start-all.sh 启动集群

master节点输入jps

slave节点输入jps为

这样就成功搭建了hadoop集群，缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。

stop-all.sh结束集群

 

参考http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/