（11）Hadoop 2.6.1 集群部署---手工切换HA

最新推荐文章于 2022-04-21 15:38:35 发布
最新推荐文章于 2022-04-21 15:38:35 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： 大数据框架应用学习 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovecarpenter/article/details/78808135
版权

1. 引言

      在生产环境中NameNode的高可用是非常重要的，一旦NameNode宕机，那么整合集群就不能用了，在本篇博客中就主要介绍一下Hadoop2.6.1的HA部署（手动切换），在本篇博客中博主使用五台干净的机器从零开始搭建Hadoop集群环境，下面就是我使用的环境：

  • 操作系统为：Centos6.7
  • jdk的版本为：1.7
  • jdk的安装路径为：/usr/local/jdk
  • hadoop的版本为：2.6.1
  • hadoop的安装路径为：/usr/local/hadoop
  • 使用root用户进行集群搭建

      接下来我将按照下表进行搭建Hadoop集群：

HOST名称ip地址运行的进程
hadoop1192.168.159.130NameNode，ResourceManger，JournalNode
hadoop2192.168.159.131NameNode，JournalNode
hadoop3192.168.159.132DataNode，NodeManger，JournalNode
hadoop4192.168.159.133DataNode，NodeManger
hadoop5192.168.159.134DataNode，NodeManger

注：JournalNode进程主要用于NameNode的数据同步。

2. 搭建Hadoop2.6.1 集群

2.1 修改hostname

  • 在hadoop1机器上修改hostname
//编辑文件
vim /etc/sysconfig/network
//修改主机名是hadoop1，（注意hostname的大小写）
hostname hadoop1
//命令行下修改hostname
hostname hadoop1

这里写图片描述

  • 同理在hadoop2，hadoop3，hadoop4，hadoop5执行相同的命令，如下图所示

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

2.2 建立hostname和ip的映射关系

      为了部署集群方便，因此我们建立了ip和主机名称的映射，过程如下：

  • 修改/etc/hosts文件
//编辑hosts文件
vim /etc/hosts
//建立ip和host的映射关系
192.168.159.130 hadoop1
192.168.159.131 hadoop2
192.168.159.132 hadoop3
192.168.159.133 hadoop4
192.168.159.134 hadoop5

这里写图片描述

  • 同理在hadoop2，hadoop3，hadoop4，hadoop5也要建立ip和host的映射关系，过程和hadoop1完全相同。

2.3 关闭防火墙

      在hadoop集群中会经常发生 机器和机器之间的交互，为了避免因为防火墙产生的意外故障，因此我们需要将防火墙关闭，过程如下：

//关闭防火墙
service iptables stop
//查看防火墙状态
service iptables status
//关闭防火墙的自动运行
chkconfig iptables off

2.4 SSH免密码登陆

      ssh免密码登陆，由于要配置HA，在SSH免密码登录的时候需要注意两点，第一：NameNode之间要相互可以免密码登录，第二NameNode到DataNode的免密码登录：

  • 在Hadoop1机器设置免密码登录
//创建密钥，一直点确定到结束
ssh-keygen -t rsa
//设置NameNode的相互免密码登录
ssh-copy-id -i hadoop2
//设置NameNode到DataNode的免密码登录
ssh-copy-id -i hadoop3
ssh-copy-id -i hadoop4
ssh-copy-id -i hadoop5
  • 在Hadoop2机器设置免密码登录
//创建密钥，一直点确定到结束
ssh-keygen -t rsa
//设置NameNode的相互免密码登录
ssh-copy-id -i hadoop1
//设置NameNode到DataNode的免密码登录
ssh-copy-id -i hadoop3
ssh-copy-id -i hadoop4
ssh-copy-id -i hadoop5

2.5 安装JDK

  • 解压jdk，并修改名称
//将jdk解压到/usr/local
tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/
//进入到/usr/local
cd /usr/local
//修改文件夹的名称
mv jdk1.7.0_45 jdk
  • 修改环境变量
//修改配置文件
vim /etc/profile
//需要添加的内容
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

这里写图片描述

  • 将hadoop1的jdk复制到其他节点
//将jdk复制到hadoop2，hadoop3，hadoop4，hadoop5
scp -r /usr/local/jdk hadoop2:/usr/local/
scp -r /usr/local/jdk hadoop3:/usr/local/
scp -r /usr/local/jdk hadoop4:/usr/local/
scp -r /usr/local/jdk hadoop5:/usr/local/
//将环境变量复制到hadoop2，hadoop3，hadoop4，hadoop5
scp /etc/profile hadoop2:/etc/profile
scp /etc/profile hadoop3:/etc/profile
scp /etc/profile hadoop4:/etc/profile
scp /etc/profile hadoop5:/etc/profile
  • 重新加载各个节点的环境变量
//分别在hadoop1，hadoop2，hadoop3，hadoop4，hadoop5执行下面命令（在五台机器上都执行）
source /etc/profile
  • 分别在五台机器上验证Java是否安装成功
//判断Java版本
java -version

这里写图片描述

2.6 hadoop2.6.1的集群部署

  • 将hadoop解压并且改名
//解压hadoop
tar -zxvf hadoop-2.6.1.tar.gz -C /usr/local/
//进入/usr/local目录
cd /usr/local
//将hadoop-2.6.1改名为hadoop
mv hadoop-2.6.1 hadoop
  • 修改配置文件hadoop-env.sh
//修改hadoop-env.sh配置文件
vim etc/hadoop/hadoop-env.sh
//修改jdk的环境变量
export JAVA_HOME=/usr/local/jdk

这里写图片描述

  • 修改配置文件core-site.xml
<!--
    fs.defaultFS
        因为要配置NameNode的HA，所以使用别名配置HDFS
        value：设置集群的别名，在这里我设置为hdfs://cluster1
    hadoop.tmp.dir
        代表hadoop的数据目录
        value：这个值最好和自己hadoop的安装目录对应，此处为/usr/local/hadoop/tmp
-->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

这里写图片描述

  • 修改配置文件hdfs-site.xml
<!--
    dfs.replication
        代表数据副本的个数
        value：副本的个数不要多余datanode的个数，此处我设为3
    dfs.nameservices
        设置集群的命名空间，此处应和core-site的fs.defaultFS对应
        value：因为和fs.defaultFS对应，所以设置为cluster1
    dfs.ha.namenodes.cluster1：
        设置集群中有多少个NameNode，是设置NameNode的逻辑名，可以随便取，注意cluster1和nameservices的value对应
        value：在这里我设置为hadoopOne,hadoopTwo
    dfs.namenode.rpc-address.cluster1.hadoopOne
        设置逻辑名hadoopOne的NameNode的实际rpc部署位置
        value：hadoop1:9000
    dfs.namenode.http-address.cluster1.hadoopOne
        设置逻辑名hadoopOne的实例http端口位置
        value：hadoop1:50070
    dfs.namenode.rpc-address.cluster1.hadoopTwo
        设置逻辑名hadoopTwo的实例rpc端口位置
        value：hadoop2:9000
    dfs.namenode.http-address.cluster1.hadoopTwo
        设置逻辑名hadoopTwo的实例http端口位置
        value：hadoop2:50070
    dfs.ha.automatic-failover.enabled.cluster1
        设置Hadoop的切换是否为自动的？
        value：因为我们是手工切换，所以设置为false
    dfs.namenode.shared.edits.dir
        指定cluster1的两个NameNode共享edits文件目录时，使用的JournalNode集群信息，配置JournalNode信息
        value：我将JournalNode配置在hadoop1，hadoop2，hadoop3上面
    dfs.journalnode.edits.dir：
        指定JournalNode集群在对NameNode的目录进行共享时，自己存储数据的磁盘路径
        value：最好和自己hadoop的目录对应，此处我设置为/usr/local/hadoop/journal
    dfs.ha.fencing.methods
        NameNode切换的方式
        value：使用ssh进行切换，所以设置为sshfence
    dfs.ha.fencing.ssh.private-key-files
        使用ssh通信时用的密钥存储的位置
        value：这里需要设置自己当前用户的ssh密钥地址，因为我时root用户，所以使用/root/.ssh/id_rsa
    dfs.client.failover.proxy.provider.cluster1
        cluster1出故障时，哪个实现类负责执行故障切换
        value：默认使用org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

-->
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>
<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>hadoopOne,hadoopTwo</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoopOne</name>
<value>hadoop1:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster1.hadoopOne</name>
<value>hadoop1:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoopTwo</name>
<value>hadoop2:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster1.hadoopTwo</name>
<value>hadoop2:50070</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled.cluster1</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/cluster1</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/journal</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
</configuration>

这里写图片描述

  • 修改配置文件yarn-site.xml
<!--
    yarn.resourcemanager.hostname
        代表ResourceManger的安装地址
        value：我们将ResourceManger部署到hadoop1上面
    yarn.nodemanager.aux-services
        reducer取数据的方式
        value:方式是mapreduce_shuffle
-->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

这里写图片描述

  • 修改配置文件mapred-site.xml
//首先修改模板文件为配置文件
mv mapred-site.xml.template mapred-site.xml
<!-- 通知框架MR使用YARN -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

这里写图片描述

  • 设置从节点的位置
//编辑slaves文件
vim slaves
//slaves的内容为:
hadoop3
hadoop4
hadoop5

这里写图片描述

  • 将hadoop分发到hadoop2，hadoop3，hadoop4，hadoop5
scp -r /usr/local/hadoop hadoop2:/usr/local
scp -r /usr/local/hadoop hadoop3:/usr/local
scp -r /usr/local/hadoop hadoop4:/usr/local
scp -r /usr/local/hadoop hadoop5:/usr/local
  • 启动journalnode集群
//分别在hadoop1，hadoop2，hadoop3上启动journalnode
hadoop/sbin/hadoop-daemon.sh start journalnode

这里写图片描述

  • 格式化NameNode并启动集群
//在Hadoop1上格式化集群
hadoop/bin/hdfs namenode -format
//在Hadoop1上启动NameNode，此时NameNode默认是standby状态
hadoop/sbin/hadoop-daemon.sh start namenode
//在hadoop2上格式化集群
hadoop/bin/hdfs namenode -bootstrapStandby
//在hadoop2上启动NameNode，此时NameNode默认是standby状态
hadoop/sbin/hadoop-daemon.sh start namenode
//手动切换NameNode的状态（注意是使用的逻辑名切换）
hadoop/bin/hdfs haadmin -failover --forceactive hadoopOne hadoopTwo
//在NameNode（hadoop1或者hadoop2）上执行，启动datanode
hadoop/sbin/hadoop-daemons.sh start datanode
//在NameNode（hadoop1或者hadoop2）上执行，启动resourcemanager和nodemanager
hadoop/sbin/start-yarn.sh start resourcemanager

这里写图片描述

这里写图片描述

2.7 验证hadoop是否安装成功

  • 使用命令验证
//查看java进程
jps

这里写图片描述

GISer.Wang
关注
专栏目录
hadoop-2.6.1 winutil处理
ryfxff的博客
05-07 162
原始数据 HDFS words hello tom hello jerry hello kitty hello world hello tom Map阶段 1.每次读一行数据, 2.拆分每行数据, 3.每个单词碰到一次写个1 <0, "hello tom"> <10, "hello jerry"> <22, "hello kitty"> <34, "hello world"> <46, "hello tom...
Hadoop2.6.1全分布式集群搭建
qq_28286027的博客
04-21 671
一：master配置 1.新建tmp目录 2.master,slave配置 Master： Slave： 3.core-site.xml配置 4.mapred-site.xml配置 5.hdfs-site.xml配置 6.hadoop-env.sh配置 7.本地网络配置： Vim /etc/hosts 配置...
（9）Hadoop 2.6.1 集群部署——未配置HA
王培晓Carpenter
12-14 1361
引言 搭建Hadoop261 集群 1 修改hostname 2 建立hostname和ip的映射关系 3 关闭防火墙 4 SSH免密码登陆 5 安装JDK 6 hadoop261的集群部署 7 验证hadoop是否安装成功1. 引言      在前面的博客中，我曾经介绍了Hadoop的伪分布配置，但是在实际工作中最常见的是集群部署，在本篇博客中就主要介绍一下Hadoop2.6.1的集群部署（未配置
hadoop2.6.1版本集群环境搭建
v12know的博客
12-16 697
以rpm方式安装jdk1.7.0_79   系统环境：redhatlinux 6.5 64位 Jdk安装包：oracle jdk-7u79-linux-x64.rpm存放在/opt/software目录中   一、linux用户的创建 创建ghadoop分组： # groupaddghadoop   创建gvoice分组 # groupadd gvoice   创建hado
hadoop-2.6.1安装
工作点滴
07-11 579
categories: - Hadoop date: 2015-11-23 21:35:22 --- ## 1.安装JDK 7 ### 1.1新建目录 ```shell mkdir /usr/local/jdk/ ``` 将jdk1.7.0_79.tar.gz解压到此目录,目录结构 /usr/local/jdk/jdk1.7.0_79 ### 1.2全
hadoop-2.6.1-windows.zip
05-19
首先，我们要准备的是"Hadoop-2.6.1-windows.zip"这个压缩包，这是专门为64位Windows系统设计的Hadoop编译版本。解压后，你会得到一个名为"hadoop-2.6.1-windows"的目录，里面包含了所有运行Hadoop所需的文件和配置...
hadoop-2.6.1-src.tar
04-10
hadoop-2.6.1-src.tar源码包，欢迎下载，hadoop-2.6.1-src.tar源码包，欢迎下载
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
【Hadoop HA 集群部署详解】 在大数据领域，Hadoop HA（高可用性）是确保服务持续可用的关键技术，特别是在生产环境中。HA通过在出现故障时将工作负载自动转移到备份节点，来保证系统的稳定性。本文将深入探讨...
Hadoop中winutils2.6.1-3.2.2
05-29
在大数据处理领域，Hadoop是一个不可或缺的关键组件，它是一个开源框架，主要用于存储和处理大规模数据集。...通过理解和掌握`winutils`，开发者和管理员能够更有效地在Windows上部署、管理和优化Hadoop集群。
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4242
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
windows-hadoop2.6.1依赖文件
12-11
windows下建立hadoop环境时，在bin文件夹下需要添加的依赖文件
hadoop-2.6.1安装教程
03-14
内附hadoop的详细安装步骤，亲测可用
hadoop-2.6.1.tar.gz（安装包）.rar
03-07
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。
02大数据学习之hadoop搭建——hadoop-2.6.1
anchor_lin的博客
05-02 397
前言——hadoop搭建2.x和1.x有区别，这里不做阐述。介绍2.6.1搭建的过程，主要是配置文件中参数的配置需要的工具包——jdk1.7,hadoop-2.6.1,集群环境是上篇博客中自己搭建的虚拟集群：                1、安装包下载：方法自行get2、先安装jdk,将压缩包解压：tar zxvf jdk-7u67-linux-x64.tar.gz配置jdk环境变量：maste...
hadoop 完全分布式HA高可用集群（自动切换）搭建
cl2010abc的专栏
06-02 4603
实验环境 namenode1: 192.168.103.4 namenode2: 192.168.103.8 datanode1：192.168.103.15 datanode2: 192.168.103.5 datanode3: 192.168.103.3 操作系统: ubuntu-16.04-x64 hadoop版本: apache-hadoop-2.6.5 jdk版本：1.8 安装步...
Hadoop2.6.1集群环境搭建
Code_zhu的博客
06-28 292
Hadoop2.6.1环境搭建环境及版本删除机器自带的JAVA环境三台机器均需关闭防火墙获取hadoop、JAVA设置环境变量配置ssh免密登入hadoop配置文件修改将hadoop分发给slave1，slave2启动集群 环境及版本 CentOS7 JAVA8 Hadoop2.6.1 集群环境 master: 192.168.27.130 slave1: 192.168.27.131 slave2: 192.168.27.132 以下未做说明操作均在master节点上 删除机器自带的JAVA
windows下安装并启动hadoop2.6.1
烂笔头的专栏
12-11 2618
64位windows安装hadoop没必要倒腾Cygwin，直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个前提是你的电脑上已经安装了jdk，设置了java环境变量，本人用的是jdk1.7.0_15。下面把这几步细化贴出来，以hadoop2.6.1为例　　1、下载hadoop安装包就不细说了：https://archive.apache.org/d
安装hadoop2.6.1集群
u013619834的专栏
06-23 1087
1. 安装JDK http://blog.csdn.net/u013619834/article/details/38894649 2. 安装zookeeper集群(这里使用192.168.1.121 192.168.1.122 192.168.1.123) http://blog.csdn.net/u013619834/article/details/41316957 3.
（12）Hadoop 2.6.1 集群部署---自动切换HA
王培晓Carpenter
12-15 1608
引言 配置集群的hostname和IP映射 1 修改hostname 2 配置hostname和ip的映射关系以及防火墙 3 关闭防火墙 配置集群免密码登录 安装JDK 搭建zookeeper集群 hadoop261的集群部署 7 验证hadoop是否安装成功1. 引言      在上篇博客中介绍了Haddop的手动切换NameNode，这在生产环境中还是不尽人意，因为工作人员可能并不会及时的知道N
Hadoop HA集群yarn-site.xml中关键配置详解
在Hadoop High Availability (HA) 集群配置中，`yarn-site.xml` 文件是YARN（Yet Another Resource Negotiator）组件的关键配置文件，它定义了资源管理器（ResourceManager，RM）的高可用性和集群的运行参数。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值