大数据：Hadoop：集群搭建HA(2.0+)

最新推荐文章于 2022-06-30 22:41:22 发布

JinChao94

最新推荐文章于 2022-06-30 22:41:22 发布

阅读量436

点赞数

本文链接：https://blog.csdn.net/JinChao94/article/details/100087879

版权

大数据生态圈专栏收录该内容

24 篇文章 1 订阅

订阅专栏

任务：配置6台或者多台机器基本环境

0.1修改主机名
   vim /etc/sysconfig/network
   hostname= itcastX
0.2映射关系
           vim /etc/hosts

192.168.8.101  itcast01
192.168.8.102  itcast02
192.168.8.103  itcast03
192.168.8.104  itcast04
192.168.8.105  itcast05
192.168.8.106  itcast06

0.3关闭防火墙
        关闭防火墙 service iptables stop
        关闭防火墙开机启动       chkconfig iptables off
0.4配置jdk
mkdir /usr/java
       tar -zxvf jdk-7u65-linux-i586.tar.gz -C /usr/java/

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

配置ssh免密码登录(所有主机)

itcast01操作：

                ssh-keygen -t rsa
                ssh-coyp-id itcast01
                ssh-coyp-id itcast02
                ssh-coyp-id itcast03
                ssh-coyp-id itcast04
                ssh-coyp-id itcast05
                ssh-coyp-id itcast06

itcast02操作：

                ssh-keygen -t rsa
                ssh-coyp-id -i itcast01

itcast03操作：

                ssh-keygen -t rsa
                ssh-coyp-id itcast04
                ssh-coyp-id itcast05
                ssh-coyp-id itcast06

集群规划：

主机名 IP 安装的软件     运行的进程
itcast01   192.168.8.101   jdk,hadoop NameNode,DFSZKFailoverController
itcast02   192.168.8.102   jdk,hadoop NameNode,DFSZKFailoverController
itcast03   192.168.8.103   jdk,hadoop ResourceManager
itcast04   192.168.8.104   jdk,hadoop,zookeeper   DataNode,NodeManager,JournalNode,QuorumPeerMain
itcast05   192.168.8.105   jdk,hadoop,zookeeper   DataNode,NodeManager,JournalNode,QuorumPeerMain
itcast06   192.168.8.106   jdk,hadoop,zookeeper   DataNode,NodeManager,JournalNode,QuorumPeerMain

一、安装配置zooekeeper集群： itcast04、itcast05、itcast06

   1.1上传解压（itcast04操作）
       mkdir /itcast
       tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast/
   1.2修改配置
       cd /itcast/zookeeper-3.4.5/conf/
       cp zoo_sample.cfg zoo.cfg
       vim zoo.cfg
               修改：dataDir=/itcast/zookeeper-3.4.5/tmp
               添加：

server.4=itcast04:2888:3888
server.5=itcast05:2888:3888
server.6=itcast06:2888:3888

1.3创建一个tmp文件夹
       mkdir /itcast/zookeeper-3.4.5/tmp
   1.4创建一个空文件
       touch /itcast/zookeeper-3.4.5/tmp/myid
   vim myid 4
   1.5复制zookeeper到itcast05、itcast06
       scp -r /itcast/zookeeper-3.4.5/ itcast05:/
       scp -r /itcast/zookeeper-3.4.5/ itcast06:/
   1.6修改 itcast05、itcast06中的 myid
           itcast05操作： vim myid 5
           itcast06操作： vim myid 6

二、安装配置hadoop集群：全部机器
2.1解压
           mkdir /itcast
           tar -zxvf hadoop-2.2.0.tar.gz -C /itcast/
   2.2配置环境变量
           vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile
2.3配置6个文件

1 hadoo-env.sh

```
export JAVA_HOME=/usr/java/jdk1.7.0_65
```

2 core-site.xml

<configuration>

	<!-- 指定hdfs的nameservice为ns1 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>

	<!-- 指定hadoop临时目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/itcast/hadoop-2.2.0/tmp</value>
	</property>

	<!-- 指定zookeeper地址 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>itcast04:2181,itcast05:2181,itcast06:2181</value>
	</property>

</configuration>

3 hdfs-site.xml

<configuration>

	<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>

	<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>

	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>itcast01:9000</value>
	</property>

	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>itcast01:50070</value>
	</property>

	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>itcast02:9000</value>
	</property>

	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>itcast02:50070</value>
	</property>

	<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://itcast04:8485;itcast05:8485;itcast06:8485/ns1</value>
	</property>

	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/itcast/hadoop-2.2.0/journal</value>
	</property>

	<!-- 开启NameNode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>

	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>

	<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>

	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>

	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>

</configuration>

4 mapred-site.xml

<configuration>

	<!-- 指定mr框架为yarn方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

</configuration>

5 yarn-site.xml

<configuration>

	<!-- 指定resourcemanager地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>itcast03</value>
	</property>

	<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>

</configuration>

6 slaves

```
itcast04
itcast05
itcast06
```

2.4将配置好的hadoop拷贝到其他节点

            scp -r /itcast/ itcast02:/
            scp -r /itcast/ itcast03:/
            scp -r /itcast/hadoop-2.2.0/ root@itcast04:/itcast/
            scp -r /itcast/hadoop-2.2.0/ root@itcast05:/itcast/
            scp -r /itcast/hadoop-2.2.0/ root@itcast06:/itcast/

三、启动严格按照下面的步骤

初次启动

3.1 启动zookeeper集群（itcast04、itcast05、itcast06启动zk）
  cd /itcast/zookeeper-3.4.5/bin/
           ./zkServer.sh start
#查看状态：一个leader，两个follower
           ./zkServer.sh status
3.2 启动journalnode (itcast01操作)
cd /itcast/hadoop-2.2.0
./hadoop-daemons.sh start journalnode

3.3格式化HDFS       (itcast01操作)
            hdfs namenode -format
复制tmp到itcast02：
scp -r tmp/ itcast02:/itcast/hadoop-2.2.0/

3.4格式化ZK (itcast01操作)
           hdfs zkfc -formatZK

3.5启动HDFS (itcast01操作)
           sbin/start-dfs.sh

3.6启动YARN(itcast03操作)
           sbin/start-yarn.sh

日常启动

3.1启动zookeeper集群   （itcast04、itcast05、itcast06操作）
       cd /itcast/zookeeper-3.4.5/bin/
       ./zkServer.sh start
       ./zkServer.sh status #

3.2启动journalnode   （itcast01操作）
       cd /itcast/hadoop-2.2.0/sbin
       ./hadoop-daemons.sh start journalnode

3.3启动HDFS   (itcast01操作)
       sbin/start-dfs.sh

3.4启动YARN    (itcast03操作)
       sbin/start-yarn.sh

四、验证

4.1浏览器验证

       http://192.168.8.101:50070
NameNode 'itcast01:9000' (active)
       http://192.168.8.102:50070
NameNode 'itcast02:9000' (standby)

4.2HDFS验证
       1 hdfs上传一个文件
               hadoop fs -put /etc/profile /profile
               hadoop fs -ls /
       2 然后kill掉active的NameNode
               kill -9 <pid of NN>
       3 通过浏览器访问：http://192.168.8.101:50070
               NameNode 'itcast02:9000' (active)
       4 执行命令：
               hadoop fs -ls /
               刚才上传的文件依然存在
       5.手动启动挂掉的NameNode
               itcast01操作： ./hadoop-daemon.sh start namenode
       6.通过浏览器访问：http://192.168.8.101:50070
               NameNode 'itcast01:9000' (standby)

JinChao94

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
大数据：Hadoop：集群搭建HA(2.0+)

集群规划：主机名 IP 安装的软件运行的进程itcast01 192.168.8.101 jdk,hadoop NameNode,DFSZKFailoverControlleritcast02...
复制链接

扫一扫

专栏目录

大数据：Hadoop：集群搭建HA(2.0+)

任务：配置6台或者多台机器基本环境

0.1修改主机名
   vim /etc/sysconfig/network
   hostname= itcastX
0.2映射关系
           vim /etc/hosts

0.3关闭防火墙
        关闭防火墙 service iptables stop
        关闭防火墙开机启动       chkconfig iptables off
0.4配置jdk
mkdir /usr/java
       tar -zxvf jdk-7u65-linux-i586.tar.gz -C /usr/java/

vim /etc/profile

source /etc/profile

配置ssh免密码登录(所有主机)

itcast01操作：

itcast02操作：

itcast03操作：

集群规划：

一、安装配置zooekeeper集群： itcast04、itcast05、itcast06

二、安装配置hadoop集群：全部机器
2.1解压
           mkdir /itcast
           tar -zxvf hadoop-2.2.0.tar.gz -C /itcast/
   2.2配置环境变量
           vim /etc/profile

source /etc/profile
2.3配置6个文件

1 hadoo-env.sh

2 core-site.xml

3 hdfs-site.xml

4 mapred-site.xml

5 yarn-site.xml

6 slaves

2.4将配置好的hadoop拷贝到其他节点

三、启动严格按照下面的步骤

初次启动

3.3格式化HDFS (itcast01操作)
hdfs namenode -format
复制tmp到itcast02：
scp -r tmp/ itcast02:/itcast/hadoop-2.2.0/

3.4格式化ZK (itcast01操作)
hdfs zkfc -formatZK

3.5启动HDFS (itcast01操作)
sbin/start-dfs.sh

3.6启动YARN(itcast03操作)
sbin/start-yarn.sh

日常启动

3.1启动zookeeper集群   （itcast04、itcast05、itcast06操作）
       cd /itcast/zookeeper-3.4.5/bin/
       ./zkServer.sh start
       ./zkServer.sh status #

3.2启动journalnode   （itcast01操作）
       cd /itcast/hadoop-2.2.0/sbin
       ./hadoop-daemons.sh start journalnode

3.3启动HDFS (itcast01操作)
sbin/start-dfs.sh

3.4启动YARN (itcast03操作)
sbin/start-yarn.sh

四、验证

4.1浏览器验证

http://192.168.8.101:50070
NameNode 'itcast01:9000' (active)
http://192.168.8.102:50070
NameNode 'itcast02:9000' (standby)

大数据：Hadoop：集群搭建HA(2.0+)

任务：配置6台或者多台机器 基本环境

0.1修改主机名 vim /etc/sysconfig/network hostname= itcastX 0.2映射关系 vim /etc/hosts

0.3关闭防火墙 关闭防火墙 service iptables stop 关闭防火墙开机启动 chkconfig iptables off 0.4配置jdk mkdir /usr/java tar -zxvf jdk-7u65-linux-i586.tar.gz -C /usr/java/

vim /etc/profile

source /etc/profile

配置ssh免密码登录(所有主机)

itcast01操作：

itcast02操作：

itcast03操作：

集群规划：

一、安装配置zooekeeper集群： itcast04、itcast05、itcast06

1.1上传解压 （itcast04操作） mkdir /itcast tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast/ 1.2修改配置 cd /itcast/zookeeper-3.4.5/conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改：dataDir=/itcast/zookeeper-3.4.5/tmp 添加：

二、安装配置hadoop集群：全部机器 2.1解压 mkdir /itcast tar -zxvf hadoop-2.2.0.tar.gz -C /itcast/ 2.2配置环境变量 vim /etc/profile

source /etc/profile 2.3配置6个文件

1 hadoo-env.sh

2 core-site.xml

3 hdfs-site.xml

4 mapred-site.xml

5 yarn-site.xml

6 slaves

2.4将配置好的hadoop拷贝到其他节点

三、启动 严格按照下面的步骤

初次启动

3.1 启动zookeeper集群（itcast04、itcast05、itcast06启动zk） cd /itcast/zookeeper-3.4.5/bin/ ./zkServer.sh start #查看状态：一个leader，两个follower ./zkServer.sh status 3.2 启动journalnode (itcast01操作) cd /itcast/hadoop-2.2.0 ./hadoop-daemons.sh start journalnode

3.3格式化HDFS (itcast01操作) hdfs namenode -format 复制tmp到itcast02： scp -r tmp/ itcast02:/itcast/hadoop-2.2.0/

3.4格式化ZK (itcast01操作) hdfs zkfc -formatZK

3.5启动HDFS (itcast01操作) sbin/start-dfs.sh

3.6启动YARN(itcast03操作) sbin/start-yarn.sh

日常启动

3.1启动zookeeper集群 （itcast04、itcast05、itcast06操作） cd /itcast/zookeeper-3.4.5/bin/ ./zkServer.sh start ./zkServer.sh status #

3.2启动journalnode （itcast01操作） cd /itcast/hadoop-2.2.0/sbin ./hadoop-daemons.sh start journalnode

3.3启动HDFS (itcast01操作) sbin/start-dfs.sh

3.4启动YARN (itcast03操作) sbin/start-yarn.sh

四、验证

4.1浏览器验证

http://192.168.8.101:50070 NameNode 'itcast01:9000' (active) http://192.168.8.102:50070 NameNode 'itcast02:9000' (standby)

“相关推荐”对你有帮助么？

任务：配置6台或者多台机器基本环境

0.1修改主机名
vim /etc/sysconfig/network
hostname= itcastX
0.2映射关系
vim /etc/hosts

0.3关闭防火墙
关闭防火墙 service iptables stop
关闭防火墙开机启动 chkconfig iptables off
0.4配置jdk
mkdir /usr/java
tar -zxvf jdk-7u65-linux-i586.tar.gz -C /usr/java/

1.1上传解压（itcast04操作）
mkdir /itcast
tar -zxvf zookeeper-3.4.5.tar.gz -C /itcast/
1.2修改配置
cd /itcast/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
修改：dataDir=/itcast/zookeeper-3.4.5/tmp
添加：

二、安装配置hadoop集群：全部机器
2.1解压
mkdir /itcast
tar -zxvf hadoop-2.2.0.tar.gz -C /itcast/
2.2配置环境变量
vim /etc/profile

source /etc/profile
2.3配置6个文件

三、启动严格按照下面的步骤

3.1 启动zookeeper集群（itcast04、itcast05、itcast06启动zk）
cd /itcast/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status
3.2 启动journalnode (itcast01操作)
cd /itcast/hadoop-2.2.0
./hadoop-daemons.sh start journalnode

3.3格式化HDFS (itcast01操作)
hdfs namenode -format
复制tmp到itcast02：
scp -r tmp/ itcast02:/itcast/hadoop-2.2.0/

3.4格式化ZK (itcast01操作)
hdfs zkfc -formatZK

3.5启动HDFS (itcast01操作)
sbin/start-dfs.sh

3.6启动YARN(itcast03操作)
sbin/start-yarn.sh

3.1启动zookeeper集群（itcast04、itcast05、itcast06操作）
cd /itcast/zookeeper-3.4.5/bin/
./zkServer.sh start
./zkServer.sh status #

3.2启动journalnode （itcast01操作）
cd /itcast/hadoop-2.2.0/sbin
./hadoop-daemons.sh start journalnode

3.3启动HDFS (itcast01操作)
sbin/start-dfs.sh

3.4启动YARN (itcast03操作)
sbin/start-yarn.sh

http://192.168.8.101:50070
NameNode 'itcast01:9000' (active)
http://192.168.8.102:50070
NameNode 'itcast02:9000' (standby)