Hadoop搭建环境:
硬件:
平台:window下 vm14的Linux 内存1G/每台 磁盘20G/每台,共6台
软件:
系统采用centOS 7 linux 内核版本Linux version 3.10.0-693.el7.x86_64
jdk版本jdk-10,hadoop版本2.7.5,zookeeper版本3.4.10 ,psmisc-23.1(由于系统安装的时候是按照最小安装导致没有这个组件,相关功能无法启用)
集群节点分配
Park01:Zookeeper NameNode (active) Resourcemanager (active)
Park02:Zookeeper NameNode (standby)
Park03:Zookeeper ResourceManager (standby)
Park04:DataNode NodeManager JournalNode
Park05:DataNode NodeManager JournalNode
Park06:DataNode NodeManager JournalNode
安装步骤
1.配置文件
0.永久关闭每台机器的防火墙
该方法为centOS7之前: 执行:service iptables stop 再次执行:chkconfig iptables off
centOS7之后:
1.为每台机器配置主机名 ,固定IP地址以及hosts文件
配置网卡=》/
etc
/
sysconfig
/
network
-
scripts
/
ifcfg
-
eth33(centOS7默认网卡)
示例:
DEVICE=eth33 设备的名称
HWADDR=00:0c:29:ac:95:0c 设备的物理地址
NM_CONTROLLED=no 是否使用NetworkManager进行网络接口的管理,默认yes
ONBOOT=yes 在系统或网络服务启动的时候是否开启该网络接口,默认no
IPADDR=192.168.1.1 定义IP地址
NETMASK=255.255.255.0 定义子网掩码
TYPE=Ethernet 网络类型为以太网
BOOTPROTO=static IP的获取方式
none 不使用任何启动协议
dhcp 使用dhcp协议作为启动协议,通过dhcp服务器获得IP地址
static 使用静态IP地址
IPV6INIT=no 是否支持IPv6配置
USERCTL=no 是否允许普通用户控制该网络接口
GATEWAY=192.168.1.254 默认网关的地址(vm中寻找网关地址)
DNS1=222.222.222.222 指定该主机能够查找的DNS服务器地址
DNS2=202.99.166.4
DNS3=202.99.160.68
配置主机名=》执行: vim /etc/sysconfig/network =》然后执行 hostname 主机名=》达到不重启生效目
示例:
# Created by anaconda
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=hadoop01
GATEWAY=192.168.16.1
~
配置hosts文件=》执行:vim /etc/hosts
示例:
127.0.0.1 localhost
::1 localhost
192.168.234.21 hadoop01
192.168.234.22 hadoop02
192.168.234.23 hadoop03
192.168.234.24 hadoop04
192.168.234.25 hadoop05
192.168.234.26 hadoop06
2.通过远程命令将配置好的hosts文件 scp到其他5台节点上
执行:scp /etc/hosts hadoop02: /etc
3.为每天机器配置ssh免秘钥登录
执行:ssh-keygen
ssh-copy-id root@hadoop01 (分别发送到6台节点上)
4.前三台机器安装和配置zookeeper
配置conf目录下的zoo.cfg以及创建myid文件
zoo.cfg:
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/software/zookeeper-3.4.10/tmp
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=192.168.16.129:2888:3888
server.2=192.168.16.130:2888:3888
server.3=192.168.16.131:2888:3888
myid:
创建在zookeeper-3.4.10/tmp 下 并为每台zookeeper配置1,2,3....id
5.为每台机器安装jdk和配置jdk环境
尽量采用解压配置环境变量的方法安装jdk,
6.安装psmisc(经过上面配置后虚拟机可以连外网了,这个软件耽误了我很长时间,没有安装会导致namenode热备切换无法实现)
yum install psmisc
7.安装和配置01节点的hadoop
配置hadoop-env.sh(地址hadoop-2.7.5/etc/hadoop/hadoop-env.sh )主要修改JAVA_HOME和HADOOP_CONF_DIR
export JAVA_HOME=/home/software/jdk-10
export HADOOP_CONF_DIR=/home/software/hadoop-2.7.5/etc/hadoop
8.配置core-site.xml
<configuration>
<!--用来指定hdfs的老大,ns为固定属性名,表示两个namenode-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--用来指定hadoop运行时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
<!--执行zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>
9.配置01节点的hdfs-site.xml
<configuration>
<!--执行hdfs的nameservice为ns,和core-site.xml保持一致-->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!--ns下有两个namenode,分别是nn1,nn2-->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!--nn1的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>hadoop01:9000</value>
</property>
<!--nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>hadoop01:50070</value>
</property>
<!--nn2的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>hadoop02:9000</value>
</property>
<!--nn2的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>hadoop02:50070</value>
</property>
<!--指定namenode的元数据在JournalNode上的存放位置,这样,namenode2可以从jn集群里获取
最新的namenode的信息,达到热备的效果-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop04:8485;hadoop05:8485;hadoop06:8485/ns</value>
</property>
<!--指定JournalNode存放数据的位置-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/software/hadoop-2.7.1/journal</value>
</property>
<!--开启namenode故障时自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--配置切换的实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔离机制,可以配置多种隔离机制以换行区别-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!--配置隔离机制的ssh登录秘钥所在的位置-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!--配置namenode数据存放的位置,可以不配置,如果不配置,默认用的是
core-site.xml里配置的hadoop.tmp.dir的路径-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/software/hadoop-2.7.1/tmp/namenode</value>
</property>
<!--配置datanode数据存放的位置,可以不配置,如果不配置,默认用的是
core-site.xml里配置的hadoop.tmp.dir的路径-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/software/hadoop-2.7.1/tmp/datanode</value>
</property>
<!--配置block副本数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
10.配置mapred-site
<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
11.配置yarn-site.xml
<configuration>
<!-- 开启YARN HA -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定两个resourcemanager的名称 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 配置rm1,rm2的主机 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop03</value>
</property>
<!--开启yarn恢复机制-->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!--执行rm恢复机制实现类-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- 配置zookeeper的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
<description>For multiple zk services, separate them with comma</description>
</property>
<!-- 指定YARN HA的名称 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-ha</value>
</property>
<property>
<!--指定yarn的老大 resoucemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
12.配置slaves文件
hadoop04
hadoop05
hadoop06
13.配置hadoop的环境变量(可不配)
JAVA_HOME=/home/software/jdk1.8
HADOOP_HOME=/home/software/hadoop-2.7.1
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME PATH CLASSPATH HADOOP_HOME
14.根据配置文件,创建相关的文件夹,用来存放对应数据
在hadoop-2.7.1目录下创建:
①journal目录
②创建tmp目录
③在tmp目录下,分别创建namenode目录和datanode目录(多次格式化[hadoop namenode -format]namenode后会引起namenode 和datanode文件冲突导致datanode无法启动,清空tmp文件夹内容并重建namenode和datanode)
15.通过scp 命令,将hadoop安装目录远程copy到其他5台机器上
2.启动过程
16.启动zookeeper集群
在Zookeeper安装目录的bin目录下执行:sh zkServer.sh start
17.格式化zookeeper
在zk的leader节点上执行:
hdfs zkfc -formatZK,这个指令的作用是在zookeeper集群上生成ha节点(ns节点)
这样就成功了
注:18--24步可以用一步来替代:进入hadoop安装目录的sbin目录,执行:start-dfs.sh 。但建议还是按部就班来执行,比较可靠。
18.启动journalnode集群
在04、05、06节点上执行(其中一个节点执行,所有节点同步启动):
切换到hadoop安装目录的sbin目录下,执行:sh hadoop-daemons.sh start journalnode
然后执行jps命令查看:
19.格式化01节点的namenode
在01节点上执行:hadoop namenode -format(尽量避免多次格式化会导致namenode和datanode信息不对称,解决方法上面已经标出)
20.启动01节点的namenode
在01节点上执行:hadoop-daemon.sh start namenode
21.把02节点的 namenode节点变为standby namenode节点
在02节点上执行:hdfs namenode -bootstrapStandby
22.启动02节点的namenode节点
在02节点上执行:hadoop-daemon.sh start namenode
23.在04,05,06节点上启动datanode节点(需要每个节点单独启动)
在04,05,06节点上执行: hadoop-daemon.sh start datanode
24.启动zkfc(启动FalioverControllerActive)
在01,02节点上执行:hadoop-daemon.sh start zkfc
25.在01节点上启动 主Resourcemanager
在01节点上执行:start-yarn.sh
启动成功后,04,05,06节点上应该有nodemanager 的进程
26.在03节点上启动副 Resoucemanager
在03节点上执行:yarn-daemon.sh start resourcemanager