如何手搭Hadoop集群

**

前言

**
最近开始上Hadoop的企业课，今天一天最重要的事情便是搭建Hadoop集群，照着老师给的教程算是把集群搭出来了。过程不难，但的确是一个很好的学习过程，故记录下来。写博客，特别是坚持写博客是一件收益良多的事情，希望我能坚持吧！昨天看到一个公式

所谓“积跬步以至千里,积怠惰以致深渊”就是这样吧！

搭建过程

一. 首先把虚拟机导入vmware



二. 进行克隆

三. 利用xshell进行远程管理
3.1 查看虚拟机的虚拟ip

3.2 连接
账号为root，密码为123456

四. 配置
4.1 修改主机名
进入根目录下etc目录的sysconfig目录

用vim编辑
vi network
键a进入编辑模式，修改HOSTNAME

修改完成后，esc退出编辑模式，并且按shift+:输入wq!强制保存并退出
查看修改是否成功
cat network

修改成功，该虚拟机就作为节点1
4.2 修改ip地址

在UUID和HWADDR前加#注释，并且把ip改成该虚拟机的虚拟ip


4.3 修改ip映射
进入根目录下etc目录，修改hosts文件

增加如下ip，以及对应的主机名(node2和node3需要后续配置)


4.4 修改虚拟网卡
进入udev/rules.d修改70-persistent-net.rules文件
vi /etc/udev/rules.d/70-persistent-net.rules

4.5 关闭防火墙
service iptables stop

chkconfig iptables off

五. 导入jdk和hadoop的压缩包
5.1 方法一
安装rz工具
yum install -y lrzsz
安装完成后，输入rz，把jdk和hadoop的tar包装进去


5.2 方法二
利用fileZilla直接放进去即可


5.3 解压
在根目录下创建目录bd，用于存放解压后的文件
mkdir bd

解压jdk
tar -zxvf jdk-8u161-linux-x64.tar.gz -C bd

解压hadoop
tar zxvf hadoop-2.6.4.tar.gz -C bd

查看一下bd，可以看到，jdk和hadoop已经解压完成了

此时我们可以重命名一下这两个解压出来的文件

5.4 利用editplus进行jdk和hadoop的环境变量的配置
点击 文件->FTP->设置FTP服务器



选中连接hadoop1

打开/etc下的profile文件

输入以下内容（注意路径要和刚才解压的路径一致）

export JAVA_HOME=/root/bd/jdk1.8
export HADOOP_HOME=/root/bd/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

进入etc目录，重新执行profile文件

source命令通常用于重新执行刚修改的初始化文件，使之立即生效，而不必注销并重新登录

进入/root/bd/hadoop/etc/hadoop(解压hadoop的文件夹)，打开hadoop-env.sh文件，修改环境变量

修改当前目录里的core-site.xml
输入

<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
</property>

node1就是主机名，第二个value标签为hadoop临时文件的保存文件夹
注意：不要有中文的注释以及空格

修改当前目录里的hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>node1:50090</value>
</property>

将当前目录下的mapred-site.xml.template重命名为mapred-site.xml

修改当前目录里的mapred-site.xml，输入

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

修改当前目录里的slaves的内容localhost 修改成

修改当前目录里的yarn-site.xml，输入

<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

修改完成后重启。

六. 快照克隆
6.1 拍摄快照

6.2 克隆(步骤和之前一致)


bdbaseClone的ip为192.168.50.129，则bdbaseClone2的ip为192.168.50.130，bdbaseClone3的ip为192.168.50.131

七. 修改主机名及虚拟ip
7.1 修改bdbaseClone2的主机名
vi /etc/sysconfig/network


7.2 修改虚拟ip
vi /etc/sysconfig/network-scripts/ifcfg-eth0

见下图，可见主机名和虚拟ip都已经修改完成了。

bdbaseClone3的主机名以及虚拟ip修改方式同上
修改效果如下

八. 生成ssh密钥
先在子节点1(node1)中生成密钥，输入
ssh-keygen -t rsa

输入
ssh-copy-id node1

然后在node2和node3中进行相同的操作

九. 初始化HDFS
在节点1中输入
hadoop namenode -format

进入sbin目录，启动HDFS

cd /root/bd/hadoop/sbin
start-dfs.sh

右击控制台点击发送键输到所有会话

输入
jps

十. 访问Hadoop
浏览器输入
http://192.168.50.129:50070

显示active，说明集群是运行中的。

附录
元节点、jdk等压缩包：链接：https://pan.baidu.com/s/18zrawaef5i4srhZVCjkhtw
提取码：yfsj