hadoop-HA

最新推荐文章于 2022-03-14 02:49:05 发布
最新推荐文章于 2022-03-14 02:49:05 发布
阅读量416 收藏 1
点赞数 3
分类专栏： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45753498/article/details/108609890
版权

hadoop平台搭建

任务分配：

master（第1台虚拟机）
master（第1台虚拟机）

主机名运行进程
master（第1台虚拟机）NodeManager
QuorumPeerMain
NameNode
1JournalNode
ResourceManager
JobHistoryServer
DataNode
Jps
DFSZKFailoverController
slave1（第2台虚拟机）QuorumPeerMain
JournalNode
NameNode
ResourceManager
DFSZKFailoverController
NodeManager
DataNode
Jps
slave2（第3台虚拟机）DataNode
NodeManager
Jps
QuorumPeerMain
JournalNode

hadoop-HA的搭建

关闭防火墙

不关闭的话zookeeper运行会出错

systemctl stop firewalld 	临时关闭
systemctl disable firewalld 	永久关闭
修改主机名：

査询主机名：hostname
修改主机名：hostnamectl set-hostname master（master为修改的主机名）
(master–>slave1,slave2)

配制ssh免密：

配制映射vim /etc/hosts写入ip地址+主机名

192.168.253.138 master
192.168.253.139 slave1
192.168.253.140 slave2

生成密钥：

ssh-keygen    #三次回车

在这里插入图片描述

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

测试：

ssh master

master–>slave1,slave2

记的用exit登出
在这里插入图片描述

xshell（方便操作，可以不用）：
在这里插入图片描述

安装jdk

下载jdk（根据自已的情况）：wget https://dl.cactifans.com/jdk/jdk-8u101-linux-x64.tar.gz
创建mkdir /apps存放解压后的包
将下载的包解压到tar -zxvf jdk-8u101-linux-x64.tar.gz -C /apps
改名mv jdk1.8.0_101 java（可有可无，但改名方便后续操作）
配置环境变量：vim /etc/profile
往/etc/profile內的写入的内容

export JAVA_HOME=/apps/java	#jdk位置
export PATH=$JAVA_HOME/bin:$PATH

刷新环境变量source /etc/profile
java的测试

java -version

在这里插入图片描述
用scp将master的文件传到slave1,slave2

scp -r /apps/java slave1:/apps
scp -r /apps/java slave2:/apps

scp -r /etc/profile slave1:/etc
scp -r /etc/profile slave2:/etc

刷新环境变量source /etc/profile

安装zookeeper

我没有地址，只有包
将下载的包解压到/appstar -zxvf zookeeper-3.4.14.tar.gz -C /apps
改名mv zookeeper-3.4.14 zookeeper
添加环境变量:vim /etc/profile

export ZOOKEEPER_HOME=/apps/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH

刷新环境变量source /etc/profile

zookeeper文件配置和修改：
cp /apps/zookeeper/conf/zoo_sample.cfg /apps/zookeeper/conf/zoo.cfg#你自已的zookeeper的conf目录

vim /apps/zookeeper/conf/zoo.cfg

修改：
在这里插入图片描述

在文章末写入


server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

server固定格式：标识是zookeeper集群中的一台机器
1/2/3…标识zookeeper集群中对应机器ID，
master/slave1/slave2…标识zookeeper集群中对应集群中节点的名称
2888和3888分别标识zookeeper集群中进行选举和同步数据的端口

在/apps/zookeeper/目录下创建tmp目录，在tmp目录下创建一个空文件myid,然后在myid文件中写入对应机器的id

mkdir /apps/zookeeper/tmp
vim /apps/zookeeper/tmp/myid

用scp将master的文件传到slave1,slave2

scp -r /apps/zookeeper slave1:/apps
scp -r /apps/zookeeper slave2:/apps

修改slave1,slave2的myid

scp -r /etc/profile slave1:/etc
scp -r /etc/profile slave2:/etc

刷新环境变量source /etc/profile

zookeeper的启动：

zkServer.sh start

査看状态：

zkServer.sh status

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
两台follower，一台leader

安装hadoop

将下载的包解压到/appstar -zxvf hadoop-2.7.5.tar.gz -C /apps
改名mv hadoop-2.7.5 hadoop
添加环境变量:vim /etc/profile

export HADOOP_HOME=/apps/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

记得刷新环境变量
创建临时数据存放目录

mkdir -p /apps/hadoop-repo/tmp

切换到/apps/hadoop/etc/hadoop(自个hadoop下的etc下的hadoop)
修改hadoop-env.sh

export JAVA_HOME=/apps/java

在这里插入图片描述
mapred-site.xml

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>master:10020</value>
</property>
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>master:19888</value>
</property>
<property>
	<name>yarn.app.mapreduce.am.staging-dir</name>
	<value>/history</value>
</property>
<property>
	<name>mapreduce.map.log.level</name>
	<value>INFO</value>
</property>
<property>
	<name>mapreduce.reduce.log.level</name>
	<value>INFO</value>
</property>

yarn-site.xml

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>yrc</value>
</property>
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2,rm3</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>master</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>slave1</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm3</name>
	<value>slave2</value>
</property>
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>master:2181,slave1:2181,slave2:2181</value>
</property>

hdfs-site.xml

<property>
	<name>dfs.nameservices</name>
	<value>ns1</value>
</property>
<property>
	<name>dfs.ha.namenodes.ns1</name>
	<value>nn1,nn2</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.ns1.nn1</name>
	<value>master:9000</value>
</property>
<property>
	<name>dfs.namenode.http-address.ns1.nn1</name>
	<value>master:50070</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.ns1.nn2</name>
	<value>slave1:9000</value>
</property>
<property>
	<name>dfs.namenode.http-address.ns1.nn2</name>
	<value>slave1:50070</value>
</property>
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://master:8485;slave1:8485;slave2:8485/ns1</value>
</property>
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/apps/hadoop-repo/journal</value>
</property>
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.client.failover.proxy.provider.ns1</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>
	sshfence
	shell(/bin/true)
	</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/root/.ssh/id_rsa</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.connect-timeout</name>
	<value>30000</value>
</property>

core-site.xml

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://ns1</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/apps/hadoop-repo/tmp</value>
</property>
<property>
	<name>ha.zookeeper.quorum</name>
	<value>master:2181,slave1:2181,slave2:2181</value>
</property>

slaves

master
slave1
slave2

传给slave1,slave2

scp -r /apps/hadoop slave1:/apps
scp -r /apps/hadoop slave2:/apps

scp -r /etc/profile slave1:/etc
scp -r /etc/profile slave2:/etc

刷新环境变量source /etc/profile

hadoop-HA的初始化

切换到cd /apps/hadoop/sbin下运行命令
启动JournalNode(master,slave1,slave2)：
hadoop-daemons.sh start journalnode

査看结果jps
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
启动historyserver
cd /apps/hadoop/sbin
运行
./mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述

格式化NameNode：hadoop namenode -format格式化会根据core-site.xml中的hadoop.tmp.dir生成一个dfs，传到slave1（第二台）scp -r dfs slave1:/apps/hadoop-repo/tmp
格式化Zookeeperhdfs zkfc -formatZK

hadoop-HA的启动/停止

启动过程：
启动zookeeper（所有节点）zkServer.sh start
启动HDFSstart-dfs.sh
启动YARNstart-yarn.sh
关闭流程：
停止YARN：stop-yarn.sh
停止DFS：stop-dfs.sh
停止Zookeeper：zkServer.sh stop

我的count
关注
专栏目录
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4283
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
Hadoop HA使用中遇到的坑
qq_14814971的博客
08-05 993
之前笔者一直用的一个master一个slave的集群，后来给笔记本加了个内存条后，加上开始学习zookeeper，开始频繁使用两个master，3个slave的高可用集群了。之前以为没有什么区别，但是使用中还是遇到了不少的小坑。1. 先说集群启动顺序 ** 配置好第一次启动：** 1.每个slave启动zookeeper服务，执行zkServer.sh start，jps可以
大数据笔记--Hadoop（第六篇）
我睡觉的时候不困
03-14 1171
一、YARN 1、概述 2、YARN的结构 二、YARN的执行流程 三、ResourceScheduler-资源调度器 1、FIFO(先进先出) 2、Capacity(资源容量) 3、Fair(公平资源) 四、完全分布式结构 1、结构 2、常见问题 Operation category READ is not supported in state standby. 3、添加节点 五、Federation HDFS-联邦HDFS 1、当前HDFS架构的弊端 2、联邦HDFS 一、YARN 1、概述
Hadoop HA高可用详细用法
qq_41378127的博客
04-23 405
一 Hadoop HA 概述 1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障SPOF（Single Points Of Failure）。 4）NameNode主要在以下...
自己的HADOOP平台（一）：HADOOP HA搭建
Carroll的学习博客
11-27 1127
准备 一些依赖包 hadoop-2.7.4-tar.gz zookeeper-3.4.6.tar.gz jdk-8u144-linux-x64.tar.gz 虚拟机 centos-7 -86_64 master 192.168.10.4 hadoop jdk master1 192.168.10.8 hadoop jdk slave1 192.168.10
YARN HA 环境搭建
SnowXu01的博客
09-04 409
1. 主机与服务规划 1.1 主机规划 主机 IP HostName CPU MEMERY USER PWD hadoop181 192.168.207.181 hadoop181 4 CORE 8G hadoop hadoop hadoop182 192.168.207.182 hadoop182 4 CORE 8G hadoop hadoop hadoop183 192.168.207.183 hadoop183 4 CORE 8G hadoop hadoop 1.2 服务规
hadoop-ha集群搭建
大数据同盟会的博客
08-20 982
HDFS使用QJM实现HA集群
Hadoop-HA配置
muzi_0815的博客
10-29 1038
core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/home/muzi/hadoop/data/tmp</value> <description>Abase for other temporary directories.</description> ...
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 ...
08-Hadoop-HA.pdf
02-09
Hadoop HA的思维导图可以帮助用户系统地理解Hadoop高可用环境的组件和故障转移机制，以及Hadoop各个模块之间的交互关系。 Hadoop中的ResourceManager HA（高可用性）涉及到YARN架构中的ResourceManager角色，它管理...
大数据技术之Hadoop-HA.txt
04-20
大数据技术之Hadoop-HA
06.hadoop-HA机制整体解析--引入zookeeper.mp4
04-29
06.hadoop-HA机制整体解析--引入zookeeper.mp4
03.大数据之hadoop
机长红猪
09-22 227
简介 未完待续 架构 未完待续 安装 主机名 hadoop100 hadoop101 hadoop102 IP 192.168.100.100 192.168.100.101 192.168.100.102 前置要求 jdk、zookeeper 前置要求节点 zk zk zk HDFS JournalNode JournalNode JournalNode NameNode NameNode DataNode DataNode DataNode YA
数据分析工具Pandas
weixin_45753498的博客
01-13 1211
数据分析工具Pandas数据分析工具Pandas01 Pandas的数据结构分析SeriesDataFrame02 Pandas索引操作及高级索引索引对象03 算术运算与数据对齐算术运算与数据对齐04 数据排序按索引排序按值排序05 统计计算与描述常用的统计计算06 层次化索引认识层次化索引07 读写数据操作读写文本文件读写数据库本章小结数据预处理01 数据清洗空值和缺失值的处理重复值的处理异常值的处理更改数据类型02 数据合并轴向堆叠数据主键合并数据根
科学计算库NumPy
weixin_45753498的博客
01-13 1143
科学计算库NumPy科学计算库NumPy01 认识NumPy数组对象ndarray对象中定义了一些重要的属性02 创建NumPy数组创建NumPy数组03 ndarray对象的数据类型查看数据类型转换数据类型04 数组运算数组运算05 ndarray的索引和切片06 数组的转置和轴对称数组的转置和轴对称07 NumPy通用函数NumPy通用函数08 利用NumPy数组进行数据处理将条件逻辑转为数组运算09 线性代数模块线性代数模块10 随机数模块随机数
Python（持续更新）
weixin_45753498的博客
09-22 589
Python基础语法 基本语法 注释 单行注释，以#开头 #这是第一个注释 print("Hello World") #这是第二个注释 多行注释：""“注释的内容”"" """ 这是一个多行注释 print("这是一个多行注释") """ 行与缩进 Python最具特色的就是用缩进表示代码块 语句换行 Python通常是一行写完一条语句，但如果语句很长，我们需要换行，这时可以使用圆括号来实现 需要注意的是，在{},[]或()中的语句，不需要使用 变量和数据类型 变量 超市购物 现实生活中，大家去超市买
Java基础
weixin_45753498的博客
10-11 487
文件读写 字节流：每次IO操作时一个byte InputStream<-----FileInputStream :int read():一次读取一个字节 int read(byte[] b):一次把数据读取到b中，返回值为读取的长度 OutputStream<-----FileOutputStream write(byte b) write(byte[] b) 实体流： 真正连接文件的对象 文件的写入 @Test public void outputFile() throw
"Hadoop-HA搭建及OracleWDP·华育兴业大数据环境安装实验手册
Hadoop-HA（高可用性）搭建是在大数据环境中进行的一项重要任务。本文将介绍OracleWDP·华育兴业大数据环境安装实验手册中的Hadoop-HA搭建过程。实验手册包括基础环境配置、Zookeeper安装配置以及Hadoop安装配置。在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值