自己的HADOOP平台（一）：HADOOP HA搭建

最新推荐文章于 2024-08-26 16:26:51 发布
最新推荐文章于 2024-08-26 16:26:51 发布
阅读量1.1k 收藏 5
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a5098726s/article/details/78328061
版权

准备

  1. 一些依赖包
    hadoop-2.7.4-tar.gz
    zookeeper-3.4.6.tar.gz
    jdk-8u144-linux-x64.tar.gz

  2. 虚拟机 centos-7 -86_64

master  192.168.10.4    hadoop  jdk 
master1 192.168.10.8    hadoop  jdk 
slave1  192.168.10.5    hadoop  jdk zookeeper
slave2  192.168.10.6    hadoop  jdk zookeeper
slave3  192.168.10.7    hadoop  jdk zookeeper
  • 虚拟机的IP配置、源更新、关闭防火墙自行百度
  • 电脑笔记本内存最好16G以上master节点分配2-3G，其余1G

开始安装

zookeeper的安装

将zookeeper-3.4.6.jar解压到slave1相应目录下

cd /usr/local/zookeeper-3.4.6/conf/
cp zoo_sample.cfg zoo.cfg

修改再zoo.cfg中添加配置

vim zoo.cfg
dataDir=/usr/local/zookeeper-3.4.6/tmp

在zoo.cfg的末尾增加节点记录通讯
其中，2888，3888是zoo内部和外部通讯端口

server.1=slave1:2888:3888
server.2=slave2:2888:3888
server.3=slave3:2888:3888

在/usr/local/zookeeper-3.4.6下创建文件夹tmp，然后再tmp中创建空文件myid，将id写入该文件，id和slave编号对应

mkdir /usr/local/zookeeper-3.4.6/tmp
touch /usr/local/zookeeper-3.4.6/tmp/myid
echo 1 > /usr/local/zookeeper-3.4.6/tmp/myid

这样，slave1上的zookeeper就配置好了，可以将zookeeper直接发送给其他两个slave节点，然后将myid里面的数值修改。

scp -r /usr/local/zookeeper-3.4.6/ slave2:/usr/local/
scp -r /usr/local/zookeeper-3.4.6/ slave3:/usr/local/
#在slave2上
echo 2 > /usr/local/zookeeper-3.4.6/tmp/myid
#在slave3上
echo 3 > /usr/local/zookeeper-3.4.6/tmp/myid

到这里，ZOOKEEPER就配置完成

JDK的安装

将jdk-8u144-linux-x64.tar.gz解压复制到master节点的/usr/local
在~/.bashrc环境变量文件里增加JAVA环境变量(/etc/profile都行)

export JAVA_HOME=/usr/local/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

配置完JAVA环境变量后，source一下源文件，然后发送给其他的节点，节约时间

source ~/.bashrc
scp -r /usr/local/jdk1.8.0_144/ root@slave1:/usr/local
scp -r /usr/local/jdk1.8.0_144/ root@slave2:/usr/local
scp -r /usr/local/jdk1.8.0_144/ root@slave3:/usr/local
scp -r /usr/local/jdk1.8.0_144/ root@master1:/usr/local

发送完毕，在每个节点source了源文件后，输入java -version测试
如果出现java的版本，那就代表java配置完成

[root@slave1 conf]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

HADOOP的配置

1、创建hadoop账号

useradd hadoop
passwd hadoop

2、配置5台虚拟机之间的ssh免密登录（方便后面启动服务）

ssh-keygen -t rsa
#直接回车确认，知道生成密钥对
#将公钥发送给所有节点，包括自己本身
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@master
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave2
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@slave3
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@master1
#修改公钥文件权限
chmod 0600 ~/.ssh/authorized_keys
#发送完毕后，查看一下是否每个文件里都有5个公钥
cat ~/.ssh/authorized_keys

2、解压hadoop到Master节点的/usr/local/目录下

tar -zxf hadoop1.8.0_144.jar.gz  /usr/local/hadoop

3、更改hadoop文件所属用户(修改为hadoop)

chown -R hadoop:hadoop /usr/local/hadoop

4、配置hadoop的环境变量

su hadoop
vim ~/.bashrc
#在文件最后添加
export JAVA_HOME=/usr/local/jdk1.8.0_144
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_INSTALL=$HADOOP_HOME
export PATH=$PATH:JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#输入完后保存退出，记得source一下源文件
source ~/.bashrc

5、添加hadoop的jdk

cd /usr/local/hadoop/etc/hadoop
vim hadoop-env.sh
#在配置里面增加
export JAVA_HOME=/usr/local/jdk1.8.0_144

6、修改core-site.xml配置文件

cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
#这个文件将会指定hadoop HA集群向外提供服务的时候的名字
<configuration>
    <!-- 指定hdfs的nameservice为ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns/</value>
    </property>
    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/</value>
        </property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>slave1:2181,slave2:2181,slave3:2181</value>
    </property>
</configuration>

7、配置hdfs-site.xml文件

vim hdfs-site.xml
#大部分hdfs的错误都是这个文件配置错误导致
<configuration>
    <!--name,data目录-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>/usr/local/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>secondary:50090</value>
    </property>

    <!--副本数量-->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>

    <!--HA配置-->
    <!--指定hdfs的nameservice为master，需要和core-site.xml一致-->
    <property>
        <name>dfs.nameservices</name>
        <value>ns</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.ns</name>
        <value>master,master1</value>
    </property>

    <!--master,master1的RPC通讯地址--> 
    <property>
        <name>dfs.namenode.rpc-address.ns.master</name>
        <value>master:9000</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.ns.master1</name>
        <value>master1:9000</value>
    </property>

    <!--nmaster,master1的HTTP通讯地址-->
    <property>
        <name>dfs.namenode.http-address.ns.master</name>
        <value>master:50070</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.ns.master1</name>
        <value>master1:50070</value>
    </property>

    <!--rpc服务-->
    <property>
        <name>dfs.namenode.servicerpc-address.nn.master</name>
        <value>master:53310</value>
    </property>
    <property>
        <name>dfs.namenode.servicerpc-address.nn.master1</name>
        <value>master1:53310</value>
    </property>

    <!--namdenode的同步-->
    <property>
        <name>dfs.journalnode.http-address</name>
        <value>0.0.0.0:8480</value>
    </property>
    <property>
        <name>dfs.journalnode.rpc-address</name>
        <value>0.0.0.0:8485</value>
    </property>

    <!--指定namenode的元数据在journalnode上的存放位置-->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://slave1:8485;slave2:8485;slave3:8485/ns</value>
    </property>

    <!--journalNode存放数据位置-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/hadoop/dfs/journal</value>
    </property>
    <!--namenode失败自动切换-->
    <property>
        <name>dfs.client.failover.proxy.provider.ns</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>                                                                                                        
    </property>

    <!--免密登录-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>

    <!--配置ssh隔离超时时间-->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>

    <!--基于zk的zkfc自动切换机制-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
    <value>slave1:2181,slave2:2181,slave3:2181</value>
    </property>

    <!--指定ZooKeeper超时间隔，单位毫秒 -->
    <property>
        <name>ha.zookeeper.session-timeout.ms</name>
        <value>2000</value>
    </property>
</configuration>

8、yarn-site.xml的修改

vim yarn-site.xml
#资源调度的配置
<configuration>
    <property>
        <!--NodeManager上运行的服务(这里是mapreduce_shuffle)-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--指定cluster的ID-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <!--两台主机的标识符-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!--RM1-->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
    </property>
    <!--RM2-->
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>master1</value>
    </property>
    <!--RM故障后自动切换-->
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!--RM故障后自动恢复-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--两个8088的http访问接口-->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>master:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>master1:8088</value>
    </property>
    <!--ZK集群-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>slave1:2181,slave2:2181,slave3:2181</value>
    </property>
</configuration>

9、mapred-site.xml文件

vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!--配置MapReduce jobhistory地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <!--配置MapReduce的http地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

10、在master上创建journal文件夹

mkdir /usr/local/hadoop/dfs/journal

然后将hadoop文件夹发送给其他的虚拟机

scp -r /usr/local/hadoop root@slave1:/usr/local/
scp -r /usr/local/hadoop root@slave2:/usr/local/
scp -r /usr/local/hadoop root@slave3:/usr/local/
scp -r /usr/local/hadoop root@master1:/usr/local/

11、修改zookeeper启动服务脚本的权限，不然在hadoop用户下启动会出现权限问题

chmod a+xwr zkServer.sh

到这里，简单的Hadoop HA集群就搭建完了

HADOOP的启动

1、在slave1、2、3上启动journalnode

hadoop-daemon.sh start journalnode

2、在master上格式化namenode（只第一次启动进行）

hdfs namenode -format

格式化后会在hadoop下生成tmp文件夹，发送给master1

scp -r tmp master1:/usr/local/hadoop/

在salve1，2，3上启动zookeeper

zkServer.sh start

在master上格式化ZKFC（只在第一次搭建）

hdfs zkfc -formatZK

在master1上同步数据(只在第一次搭建)

hdfs namenode -bootstrapStandby

在namenode上启动zkfc

hadoop-daemon.sh start zkfc

在master1上启动yarn

yarn-daemon.sh start resourcemanager

在master上启动yarn和hdfs

start-dfs.sh
start-yarn.sh

在master上启动historyserver

mr-jobhistory-daemon.sh start historyserver

到这里，hadoop所有服务启动完成，可以进如两个登录界面查看

master
master

master1
这里写图片描述

yarn界面
这里写图片描述

  • 如果有任何建议或者意见，请联系我。 谢谢
Carroll_HY
关注
专栏目录
hadoop(3) 搭建hadoop-HA_hadoop3 ha
2401_84185471的博客
04-27 348
node02应有：NameNode、DFSZKFailoverController、DataNode、QuorumPeerMain、JournalNode。#在node01上执行，将node01的公钥发给所有node节点，让node01能直接免密登录到其他node节点。#在node02上执行，将node02的公钥发给所有node节点，让node02能直接免密登录到其他node节点。#修改并添加启动的namenode节点、zookeeper 节点和对应端口。指定namenode逻辑一对多映射1的web应用。
【Hadoop HA】搭建Hadoop HA的详细教程
HR的博客
04-13 7346
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试 前置工作 配置host文件 在每个节点的/etc/hosts文件下加入 192.168.3.73 master 192.168.3.66 slave1 192.168.3.61 slave2 确保可以相互ping通 [root@host-192-168-3-.
hadoop-HA搭建
08-14
这个文档是本人搭建成功的步骤，能正常使用，里面配置了首先自己要步骤进行
Hadoop HA 搭建
不搞数学的汤老师
05-03 3269
Hadoop 主要由 HDFS、YARN 和 MapReduce 三大组件构成。HDFS：分布式文件存储，用于大规模数据存储。由 NameNode 与 DataNode 构成。NameNode：管理元数据。维护文件系统目录结构，管理数据块和数据节点的映射关系，处理客户端的文件请求。当 NN 宕机时整个 HDFS 不可使用，需要对其做 HA。DataNode：存储实际的数据。执行来自客户端的读写请求（数据会复制多份存储在不同的 DN 上），定期向 NN 发送心跳并上报状态。
Hadoop的HA配置与实现（ZooKeeper）
最新发布
wusuoweiieq的博客
08-26 1317
将112的tmp目录复制到113上（113为备用的主节点）和dfs.namenode.http-address.
Hadoop的HA模式搭建
m0_74934794的博客
07-11 1352
准备三台虚拟机1.修改虚拟机的IP地址和hostname2.配置集群中的ip映射（/etc/hosts）3.关闭虚拟机的防火墙4.集群间实现免密登录每台虚拟机都执行类似操作。
Hadoop HA搭建
我思，顾我在
08-02 590
Hadoop HA
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
hadoopHA搭建资源包
04-01
总的来说，这个资源包提供了一套完整的Hadoop HA搭建基础，涵盖了从环境准备到服务配置的所有关键组件。通过详细的配置和测试，你可以构建一个可靠的Hadoop集群，为大数据处理提供稳定的平台。在实际操作中，还需要...
Hadoop3以及高可用HA搭建方式.zip
07-10
2. **Erasure Coding**：一种新的数据冗余策略，用以替代传统的三副本策略。它通过编码和解码算法，使用更少的磁盘空间来实现数据保护，提高了存储效率。 3. **性能优化**：包括HDFS的块大小增加到128MB，提升了...
Hadoop HA平台搭建
jerryhuang12的博客
08-02 829
一、引言 （一）项目背景 随着大数据时代的来临，分布式文件系统因其极高的可靠性和性能以及可扩展性越来越受到人们的青睐。对于如今各社交网络、电子商务平台和音乐平台等娱乐平台融入人们的日常生活，而其日渐增长的注册用户以及庞大的数据量便需要依靠分布式文件系统来进行处理。作为大数据平台Hadoop平台的存储核心，HDFS逐渐成为了一个用来进行数据处理的标准，但整个集群只有一个Namenode，若这一个Namenode损坏，则整个Hadoop集群将不可以使用，此时Hadoop的高可用性显得尤为重要。在Hadoop
hadoopHA集群搭建
yang_zzu的博客
08-24 940
目录 A.修改配置文件 1. 修改hadoop-env.sh 2. 修改 core-site.xml 3.修改hdfs-site.xml 4.将修改的文件分发到其他节点 B.zookeeper 集群搭建 1. 下载安装包 2.上传文件夹，解压缩， 3.修改/etc/profile 文件 4.修改配置文件 5.将安装包分发到其他节点 6. 创建myid 启动 1. 所有节点关闭journalnode 2. 所有jnn 节点开启 journalnode 服务 3.格式化主节点..
Hadoop之HA模式搭建
weixin_45822753的博客
01-09 800
学习记录
hadoopHA搭建
小猴子的博客
03-19 223
上一篇安装hadoop集群环境中复制一个出来； 1、cd /opt/module mkdir HA chmod 777 HA/ cp -r /opt/module/hadoop-2.7.2 /opt/module/HA/ 2、在HA目录操作 ============core-site.xml================== <configuration> <!-...
hadoop HA with QJM 搭建
helloWorldAndYou的博客
09-14 765
hadooclu1,hadooclu2 NN、ZKFC hadooclu1,hadooclu2 ，hadooclu3 JNN hadooclu2，hadooclu3，hadooclu4 DN hadooclu2，hadooclu3，hadooclu4 ZK 免密配置不再累述，参考：hadoop完全分布式中第1点 1. zookeeper 配置zk脚本所在bin目录配置到系统...
hadoop集群HA模式搭建
yyaijunji的博客
03-20 396
hadoop集群HA模式搭建 角色\服务器 node01 node02 node03 node04 namenode √ secondarynamenode √ datanode √ √ √ 一、环境准备 准备4台服务器，node01\node02\node03\node04 node01能免密登录其他3台服务器 二、应用搭建 修改hadoop的配置文件 core-site.xml配置修改，地址参见 <property> <name&g
Hadoop2.6.5搭建HA（高可用）
andyguan01_2的博客
03-20 1478
一、环境 操作系统：CentOS6.9 软件版本：Hadoop2.6.5，Zookeeper3.4.13 集群架构： 我手上有3台服务器，一台作为主NameNode，一台作为备NameNode和DataNode1，剩下一台作为DataNode2。也就是在3台服务器上面部署一主一备NameNode+两个DataNode。另外，由于JournalNode和ZK都至少为3个，且为奇数个，在3台服务器上面...
Hadoop HA集群搭建
痞帅小生的博客
08-05 730
Hadoop HA集群搭建   一：在安装搭建之前简单了解一下 hadoop ha 为什么会有hadoop HA机制呢？ HA：High Available，高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 对于只有一个 NameNode 的集群，如果 NameNode 机器出现故障(比如宕机或是软件、硬件 升级)，那么整个集群将无法使用，直到 Nam...
大数据平台搭建教程：Hadoop生态系统实践
教程还涉及到集群的基础平台搭建，使用了如Hadoop HA、Storm、Kafka、Flume等技术，并提供了详细的硬件配置和软件版本信息。" 在大数据处理领域，Hadoop生态系统扮演着至关重要的角色，它提供了一套分布式计算框架...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值