文章目录
1 运行环境
1.1 软件环境
1.四个节点
管理节点(主节点和主备节点) 工作节点(salves)
hadoop01、hadoop02 hadoop03、hadoop04
管理节点 | 工作节点 |
---|---|
hadoop01、hadoop02 | hadoop03、hadoop04 |
- 管理节点:主节点和主备节点
- 工作节点:slaves
2.OS:64位RHEL6及以上或者64位CentOS7.0及以上
3.JVM:预装64位JDK 1.8及以上版本
1.2 浏览器要求
Firefox 39.0.0版本及以上或者Google Chrome 54.0.2840.8版本及以上。
2 安装准备
2.1 准备虚拟机
准备四个节点的虚拟机
2.2 修改主机名
所有节点分别操作,在各个节点执行以下操作来修改主机名,使集群下的主机有格式一个统一的主机名,以便后续的操作和维护。
使用root用户修改主机名
[root@hadoop04 ~]# vim /etc/hostname
文件内容修改为:
hadoop04 //hadoop04为想改的主机名,分别修改自己的
在对应主机上执行以下命令,使主机名生效:
[root@hadoop04 ~]# hostname hadoop04
或
[root@hadoop04 ~]# hostnamectl set-hostname hadoop04
[root@hadoop04 ~]# reboot //修改后需要重启
注:主机名(hadoop0**)与主机相对应。
2.3 关闭防火墙
通过systemctl命令关闭防火墙
注:要使用root用户,且每个节点分别操作
[root@hadoop04 ~]# systemctl stop firewalld.service //关闭防火墙
[root@hadoop04 ~]# systemctl disable firewalld.service //开机即关闭
2.4 修改主机名列表
注:使用root用户修改/etc/hosts,所有节点都操作,且内容相同
[root@hadoop04 ~]# vim /etc/hosts
//添加以下内容:
192.168.16.131 hadoop01
192.168.16.132 hadoop02
192.168.16.133 hadoop03
192.168.16.134 hadoop04
……
2.5 配置时间同步
通过date命令查看所有节点的时间是否同步,如果不同步需要进行配置
2.5.1 配置自动时钟同步
该项同时需要在所有节点配置。
使用Linux命令配置
[root@hadoop01 ~]$ crontab -e
该命令是vi编辑命令,按i进入插入模式,按Esc,然后键入:wq保存退出
键入下面的一行代码,输入i,进入插入模式(星号之间和前后都有空格)
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org
2.5.2手动同步时间
直接在Terminal运行下面的命令:
[root@ hadoop01 ~]$ /usr/sbin/ntpdate cn.pool.ntp.org
2.6 配置免秘钥登录
用yao用户
1.登录hadoop01节点,执行以下指令生成一对密钥
[yao@hadoop01 ~]$ ssh-keygen –t rsa
回车——回车——回车
2. 登录hadoop02节点生成密钥,并传给hadoop01
[yao@hadoop02 ~]$ ssh-keygen –t rsa
[yao@hadoop02 ~]$ scp .ssh/id_rsa.pub yao@hadoop01:~/.ssh/id_rsa.pub02
3.登录hadoop03节点生成密钥,并传给hadoop01
[yao@hadoop03 ~]$ ssh-keygen –t rsa
[yao@hadoop03 ~]$ scp .ssh/id_rsa.pub yao@hadoop01:~/.ssh/id_rsa.pub03
4.登录hadoop04节点生成密钥,并传给hadoop01
[yao@hadoop04 ~]$ ssh-keygen –t rsa
[yao@hadoop04 ~]$ scp .ssh/id_rsa.pub yao@hadoop01:~/.ssh/id_rsa.pub04
5.登录hadoop01节点,组合所有公钥
[yao@hadoop01 ~]$ cd ~/.ssh
[yao@hadoop01 ~]$ cat id_rsa.pub >> authorized_keys
[yao@hadoop01 ~]$ cat id_rsa.pub002 >> authorized_keys
[yao@hadoop01 ~]$ cat id_rsa.pub003 >> authorized_keys
[yao@hadoop01 ~]$ cat id_rsa.pub004 >> authorized_keys
[yao@hadoop01 ~]$ chmod 600 authorized_keys
注:要修改文件权限。
7.分发密钥文件:在hadoop01上操作
[yao@hadoop01 ~]$ scp /home/yao /.ssh/authorized_keys yao@hadoop02:~/.ssh/
[yao@hadoop01 ~]$ scp /home/yao/.ssh/authorized_keys yao@hadoop03:~/.ssh
[yao@hadoop01 ~]$ scp /home/yao /.ssh/authorized_keys yao@hadoop04:~/.ssh/
注:以上所有登陆节点、传输文件过程都需要输入对应节点yao用户的登录密钥。
到此,免密成功,所有节点可以相互之间免密登录。
8.测试
[yao@hadoop01 ~]$ ssh hadoop02
2.7 安装jdk
注:因为大数据所有组件都是在JVM环境中运行,所以在安装其他组件之前必须首先安装JDK。
- jdk版本推荐安装1.8
下载地址http://pan.baidu.com/s/1c3kcWm密码:alcj或者官网自行下载
1.将安装包jdk-8u144-linux-x64.tar.gz上传至服务器yao用户下:/home/yao
2.解压, 将JDK文件解压,放到/usr/java目录下,使用root用户
[root@hadoop01 ~]# mkdir /usr/java/
[root@hadoop01 ~]# mv /home/yao/jdk-8u101-linux-x64.tar.gz /usr/java/
[root@hadoop01 ~]# cd /usr/java/
[root@hadoop01 java]# tar -zxvf jdk-8u101-linux-x64.gz
3.配置环境变量,使用yao用户
[yao@hadoop01 ~]$ vim ~/.bash_profile
//添加以下内容
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
4.生效配置文件
[yao@hadoop01 ~]$ source ~/.bash_profile
5.测试
[yao@hadoop01 ~]$ java -version
6.其他节点同上
3 安装zookeeper
3.1 准备安装包
注:以下所有安装默认是使用yao用户在hadoop01上执行!
1.解压并移动软件包(在所有节点执行)
将zookeeper-3.4.6.tar.gz 解压缩,
[yao@hadoop01 ~]$ tar -zxvf zookeeper-3.4.6.tar.gz
3.2 修改配置文件
注意:在hadoop01执行
1.修改Zookeeper配置文件/home/yao/zookeeper-3.4.6/conf/zoo_sample.cfg重名为zoo.cfg。
进入到conf目录下,执行:
[yao@hadoop01 ~]$ cd zookeeper-3.4.6/conf
[yao@hadoop01 conf]$ mv zoo_sample.cfg zoo.cfg
2.修改zoo.cfg,添加如下内容(参加选举的节点,必须是单数,任意选择三个,这里选择hadoop01、hadoop02、hadoop04)
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop04:2888:3888
3.3 创建相关目录
创建/tmp/zookeeper目录,并在此目录下创建myid文件。
[yao@hadoop01 conf]$ mkdir /tmp/zookeeper
[yao@hadoop01 conf]$ cd /tmp/zookeeper/
[yao@hadoop01 zookeeper]$ vi myid
在文件中写入数字
1
3.4 分发zookeeper软件包
[yao@hadoop01 ~]$ scp -r /home/yao/zookeeper-3.4.6 yao@hadoop02:~/
[yao@hadoop01 ~]$ scp -r /home/yao/zookeeper-3.4.6 yao@hadoop04:~/
3.5 修改myid文件
注:每一个参加选举的节点都要修改
[yao@hadoop01 ~]$ ssh yao@hadoop02
[yao@hadoop02 ~]$ vim /tmp/zookeeper/myid
修改文件中数字为2
注:重新登录终端环境变量生效。
注意,这里的id对应的是server.1、server.1和server.3
3.6 启动Zookeeper
1.在hadoop01,hadoop02,hadoop04上执行启动命令
[yao@hadoop01 zookeeper-3.4.6]$ bin/zkServer.sh start
2.验证是否启动成功
- 查看进程QuorumPeerMain是否启动
[yao@hadoop01 zookeeper-3.4.6]$ jps
- 查看zookeeper状态
[yao@hadoop01 zookeeper-3.4.6]$ bin/zkServer.sh status
4 安装Hadoop
hadoop部分的配置分为两部分:HDFS和YARN。
4.1 配置HDFS
4.1.1 上传、解压并移动软件包
注:在所有节点执行
将/home/yao/hadoop-2.7.7.tar.gz解压
[yao@hadoop01 ~]$ rz
[yao@hadoop01 ~]$ ls
hadoop-2.7.7.tar.gz zookeeper-3.4.6 zookeeper-3.4.6.tar.gz
[yao@hadoop01 ~]$ tar -zxvf hadoop-2.7.7.tar.gz
4.1.2 修改配置文件core-site.xml
修改core-site.xml(如果文件不存在,但是core-site.xml.template文件存在,则先修改文件名,执行mv core-site.xml.template core-site.xml)
[yao@hadoop01 ~]$ vim /home/yao/hadoop-2.7.1/etc/hadoop/core-site.xml
修改为以下内容:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://beh</value> //随便起的名字
<final>false</final> //开启某些功能时用到
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/yao/hadoopdata</value>
<final>false</final>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop04:2181</value>
<final>false</final>
</property>
</configuration>
4.1.3 修改配置文件hdfs-site.xml
[yao@hadoop01 ~]$ vim /home/yao/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
修改为以下内容:
<configuration>
<property>
<name>dfs.nameservices</name>
<value>beh</value> //core-site.xml中的fs.defaultFS <value>hdfs://beh</value>
<final>false</final>
</property>
<property>
<name>dfs.ha.namenodes.beh</name>
<value>nn1,nn2</value> //namenode个数
<final>false</final>
</property>
<property>
<name>dfs.namenode.rpc-address.beh.nn1</name> //rpc服务的端口
<value>hadoop01:9000</value> //这里写的是nn1的名字
<final>false</final>
</property>
<property>
<name>dfs.namenode.http-address.beh.nn1</name> //验证nn1的http地址
<value>hadoop01:50070</value>
<final>false</final>
</property>
<property>
<name>dfs.namenode.rpc-address.beh.nn2</name>
<value>hadoop02:9000</value>
<final>false</final>
</property>
<property>
<name>dfs.namenode.http-address.beh.nn2</name>
<value>hadoop02:50070</value>
<final>false</final>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop04:8485/beh</value> //对应zk文件,参与选举的节点
<final>false</final>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled.beh</name>
<value>true</value>
<final>false</final>
</property>
<property>
<name>dfs.client.failover.proxy.provider.beh</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
<final>false</final>
</property>
<property>
<name>dfs.journalnode.edits.dir</name> //journalnode存放目录
<value>/home/yao/metadata/journal</value>
<final>false</final>
</property>
<property>
<name>dfs.ha.fencing.methods</name> //有关ssh的配置
<value>sshfence</value>
<final>false</final>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/yao/.ssh/id_rsa</value> //密钥相关
<final>true</final>
</property>
<property>
<name>dfs.replication</name> //副本的数量,即DataNode数量,如果是5个机器,可以配成3
<value>2</value>
<final>false</final>
</property>
</configuration>
4.1.4 修配置文件slaves
[yao@hadoop01 hadoop]$ vim /home/yao/hadoop-2.7.1/etc/hadoop/slaves
修改为以下内容,将所有的DataNode添加进来:
hadoop03
hadoop04
4.2 配置YARN
4.2.1 修改配置文件mapred-site.xml
[yao@hadoop01 hadoop]$ vim /home/yao/hadoop2.7.7/etc/hadoop/mapred-site.xml
修改为以下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.2.2 修改配置文件yarn-site.xml
[yao@hadoop01 hadoop]$ vim /home/yao/hadoop2.7.7/etc/hadoop/yarn-site.xml
修改为以下内容:
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>beh</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop02</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop01:2181,hadoop02:2181,hadoop04:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--开启故障自动切换-->
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.address.rm1</name>
<value>hadoop01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm1</name>
<value>hadoop01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>hadoop01:8088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
<value>hadoop01:8031</value>
</property>
<property>
<name>yarn.resourcemanager.address.rm2</name>
<value>hadoop02:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address.rm2</name>
<value>hadoop02:8030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>hadoop02:8088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
<value>hadoop02:8031</value>
</property>
</configuration>
4.2.3 修改配置文件 hadoop-env.sh
[yao@hadoop01 hadoop]$ vim /home/yao/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
修改为以下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_144
4.2.4 修改配置文件 yarn-env.sh
[yao@hadoop01 hadoop]$ vim /home/yao/hadoop-2.7.7/etc/hadoop/yarn-env.sh
修改为以下内容:
export JAVA_HOME=/usr/java/jdk1.8.0_144
4.3 分发配置文件
将配置好的参数文件分别分发给hadoop02、hadoop03和hadoop04
[yao@hadoop01 hadoop]$ scp -r /home/yao/hadoop2.7.7 yao@hadoop02:~/
[yao@hadoop01 hadoop]$ scp -r /home/yao/hadoop2.7.7 yao@hadoop03:~/
[yao@hadoop01 hadoop]$ scp -r /home/yao/hadoop2.7.7 yao@hadoop04:~/
注:将以上配置复制到所有节点
4.4 配置环境变量
4个节点都要配置
[yao@hadoop01 ~]$ vi .bash_profile
添加以下内容
export HADOOP_HOME=/home/yao/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
使其生效
[yao@hadoop01 ~]$ source .bash_profile
4.5 启动HDFS
4.5.1 启动journalnode
进程名:JournalNode,哪些节点配置了此项,就在哪些节点上启动。(hadoop01,hadoop02,hadoop04)
[yao@hadoop01 ~]$ cd hadoop-2.7.7/
[yao@hadoop01 hadoop-2.7.7]$ sbin/hadoop-daemon.sh start journalnode
4.5.2 格式化zookeeper
在hadoop01上执行(在任何节点上执行都可以)
[yao@hadoop01 hadoop-2.7.7]$ hdfs zkfc -formatZK
4.5.3 格式化和启动namenode
对hadoop1节点进行格式化和启动namenode(进程名:NameNode):
[yao@hadoop01 hadoop-2.7.7]$ hdfs namenode -format
[yao@hadoop01 hadoop-2.7.7]$ sbin/hadoop-daemon.sh start namenode
对hadoop2节点进行格式化和启动
[yao@hadoop02 hadoop-2.7.7]$ hdfs namenode -bootstrapStandby
[yao@hadoop02 hadoop-2.7.7]$ sbin/hadoop-daemon.sh start namenode
4.5.4 启动zkfc
在hadoop1和hadoop2上启动zkfc服务(zkfc服务进程名:DFSZKFailoverController):此时hadoop1和hadoop2就会有一个节点变为active状态
[yao@hadoop01 hadoop-2.7.7]$ sbin/hadoop-daemon.sh start zkfc
[yao@hadoop02 hadoop-2.7.7]$ sbin/hadoop-daemon.sh start zkfc
4.5.5 启动datanode
进程名:DataNode:在hadoop1上执行
$HADOOP_HOME/sbin/hadoop-daemons.sh start datanode
[yao@hadoop03 hadoop-2.7.7]$ sbin/hadoop-daemon.sh start datanode
[yao@hadoop04 hadoop-2.7.7]$ sbin/hadoop-daemon.sh start datanode
4.5.6 验证是否成功
1.打开浏览器,访问 hadoop1:50070 以及 hadoop2:50070,可以看到两个namenode一个是active而另一个是standby。
-
hadoop01:50070
-
hadoop02:50070
2.如果kill掉其中active的namenode进程,另一个standby的naemnode将会自动转换为active状态
-
hadoop02:50070
重新打开hadoop01的namenode:
- hadoop001:50070
4.6 启动YARN
4.6.1 启动ResourceManager及NodeManager
1.在hadoop1上启动(此脚本将会启动hadoop1上的resourcemanager及所有的nodemanager)
[yao@hadoop01 hadoop-2.7.7]$ $HADOOP_HOME/sbin/start-yarn.sh
2.在hadoop2上启动resourcemanagerl
[yao@hadoop03 hadoop-2.7.7]$ $HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager
4.6.2 验证是否配置成功
1.Web
打开浏览器,访问hadoop1:8088或者hadoop2:8088,只有active的会打开如下界面,standby的那个不会看到页面。
然后kill掉active的resourcemanager另一个将会变为active的,说明resourcemanager HA是成功的
[yao@hadoop01 hadoop-2.7.7]$ sbin/yarn-daemon.sh stop resourcemanager
2.Pi
[yao@hadoop01 ~]$ hadoop jar hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 5 5
5 关闭集群
5.1 关闭YARN
1.在hadoop1上启动stop-yarn.sh脚本:
[yao@hadoop01 hadoop-2.7.7]$ sbin/stop-yarn.sh
这个脚本会关掉hadoop01的ResourceManager和所有的NodeManager:
2.在hadoop02上通过脚本yarn-daemon.sh执行stop resourcemanager命令
[yao@hadoop02 hadoop-2.7.7]$ sbin/yarn-daemon.sh stop resourcemanager
5.2 关闭HDFS
在hadoop1上启动stop-dfs.sh脚本,这个脚本会关掉hadoop01的HDFS服务和所有节点上的NameNode、DataNode和JournalNode
[yao@hadoop01 hadoop-2.7.7]$ sbin/stop-dfs.sh
这里直接用sbin/stop-dfs.sh命令没有关掉hadoop01的NameNode和JournalNode,可以手动一个一个关闭
[yao@hadoop01 hadoop-2.7.7]$ sbin/hadoop-daemon.sh stop namenode
[yao@hadoop01 hadoop-2.7.7]$ sbin/hadoop-daemon.sh stop journalnode
5.3 关闭ZKFC
1.在hadoop1上通过脚本yarn-daemon.sh执行stop zkfc命令
[yao@hadoop01 hadoop-2.7.7]$ sbin/hadoop-daemon.sh stop zkfc
2.在hadoop2上通过脚本yarn-daemon.sh执行stop zkfc命令
[yao@hadoop02 hadoop-2.7.7]$ sbin/hadoop-daemon.sh stop zkfc
5.4 关闭zookeeper
在hadoop1上启动zkServer.sh脚本,关闭zookeeper
[yao@hadoop01 zookeeper-3.4.6]$ /home/yao/zookeeper-3.4.6/bin/zkServer.sh stop