hadoop-hdfs配置 + HA(高可用)配置(学习)

已于 2024-03-28 16:58:12 修改
阅读量560 收藏 11
点赞数 6
文章标签： hadoop hdfs 学习
于 2024-03-16 16:19:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65385133/article/details/136751316
版权

这里写目录标题

1、准备三台虚拟机

  node1		192.168.72.88
  node2		192.168.72.89
  node3		192.168.72.90

2、安装JDK

下载jdk安装包

2.1 上传需要的压缩包文件

在这里插入图片描述

2.2 解压压缩包
# 把压缩包解压到上一级目录的soft目录下
tar -zxvf jdk-8u361-linux-x64.tar.gz -C ../soft/				
# 给解压后的目录重新命名-方便
mv jdk1.8.0_361/ jdk18				# mv 命令指定目录为移动,不指定为更改名称
# 配置jdk环境变量使其在任意目录下都可以使用jdkhome/bin中的命令
vim ~/.bashrc
# 增加如下内容,(查看jdk所在路劲可以使用 pwd命令)
export JAVA_HOME=jdk所在目录
export PATH=$JAVA_HOME/bin:$PATH

# 修改文件后,生效配置文件
source ~/.bashrc
# 查看PATH变量是否具有jdk目录,也可直接输入java/javac等jdk中的命令验证
echo $PATH

在这里插入图片描述

3、解压安装hadoop-配置HDFS

hadoop安装包下载

3.1 解压hadoop配置环境变量
# 同样解压和配置环境变量
tar -zxvf hadoop-3.3.6.tar.gz -C ../soft/
mv hadoop-3.3.6/ hadoop336				# 需要进入到soft目录中,或者写全路劲
vim ~/.bashrc
# 添加如下内容
export 	HADOOP_HOME=hadoop所在目录
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 配置完成后需要使配置文件生效
source ~/.bashrc
echo $PATH				# 查看path变量是否配置完成
3.2 编写配置文件

需要编写hadoop目录下的配置文件配置文件在hadoop安装目录下面的etc/hadoop/下
workers 配置datanode所在主机
hadoop-env.sh 配置hadoop的相关环境
core-site.xml hadoop的核心配置文件
hdfs-site.xml hdfs的核心配置文件

3.2.1 配置workers 文件
vim workers					# 需要确保在hadoop安装目录下的etc/hadoop目录中
# 添加节点名称
node1							# 填写主机名需要再系统配置文件中/etc/hosts中配置ip映射
node2
node3
3.2.2 配置hadoop-env.sh

在配置文件中需要指定:
JAVA_HOME,
HADOOP_LOG_DIR,
HADOOP_CONF_DIR

vim hadoop-env.sh
export JAVA_HOME=jdk目录路劲
export HADOOP_LOG_DIR=hadoop日志存放路劲		
export HADOOP_CONF_DIR=hadoop配置文件路劲hadoop安装目录下的etc/hadoop中
3.2.3 配置core-site.xml
<configuration>
<property>
<!--namenode所在节点,集群启动会读取该文件确定namenode节点位置-->
<name>fs.defaultFS </name>
<value>hdfs://node1:8020</value>
</property>
<property>
<!--表示io操作文件缓冲区大小-->
<name>io.file.buffer.size</name> 
<value>131072</value>
</property>
<!--hdfs副本的数量默认为3可以不用配置-->
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
3.2.4 配置hdfs-site.xml
<configuration>
<property>
<name>dfs.datanode.data.dir.perm </name><!--hdfs文件系统,默认创建的文件权限设置-->
<value>700</value><!--即(rwx)-->
</property>
<property>
<name>dfs.namenode.name.dir</name> <!--namenode元数据存储位置-->
<value> /home/kk/data/namenode </value> <!--在node1节点的目录下(不会自动创建需要创建目录)-->
</property>
<property>
<name>dfs.namenode.hosts</name> <!--namenode允许在那几个节点的datanode连接-->
<value>node1,node2,node3</value> <!--这三台服务器被授权-->
</property>
<property>
<name>dfs.blocksize</name> <!--hdfs默认块大小-->
<value>268435456</value> <!--268435456(256MB)-->
</property>
<property>
<name>dfs.namenode.handler.count</name> <!--namenode处理的并发线程数-->
<value>100</value> <!--以一百个并行度处理文件系统的管理事务(自定义)-->
</property>
<property>
<name>dfs.datanode.data.dir</name> <!--从节点datanode数据存储目录-->
<value> /home/kk/data/datanode </value> <!--datanode数据存放在node1,node2,node3,三台机器的目录内,目录需要自己创建-->
</property>
</configuration>
3.2.5 通过远程复制命令将hadoop jdk 分别赋值到node2和node3上
# 把环境变量配置文件复制到其他节点上,
# 复制需要注意当前所在路劲,和其他节点是否存在前置路劲,不存在需要创建
scp -r ~/.bashrc node2:~/.bashrc		# 配置文件需要到节点中source让其生效
scp -r ~/.bashrc node3:~/.bashrc
scp -r jdk18 node2:`pwd`
scp -r jdk18 node3:`pwd`
scp -r hadoop336 node2:`pwd`
scp -r hadoop336 node2:`pwd`
3.2.6 格式化文件系统
hadoop namenode -format

格式化成功会出现namenode has been successfully formatted.字样

3.2.7 启动hdfs集群
# 启动或关闭hdfs集群
start-dfs.sh
stop-dfs.sh
# 查看系统中正在启动的java进程
jps

成功会出现namenode,datanode,secondarynamenode

3.2.8 web网页端口访问

在浏览器中打开namenode所在id: 192.168.72.88:9870
注意需要关闭防火墙: systemctl stop firewalld在这里插入图片描述

4、高可用集群搭建 - HA

4.1 安装zookeeper

下载zookeeper安装包

将下载的zookeeper安装包上传到linux中
在这里插入图片描述

4.1.1 解压zookeeper
tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz -C ../soft
# 进入到解压目录中,给目录重命名
mv apache-zookeeper-3.7.0-bin zookeeper370
4.1.2 配置环境变量
vim ~/.bashrc

# 添加如下内容
export ZOOKEEPER_HOME=zookeeper所在目录
export PATH=$ZOOKEEPER_HOME/bin:$PATH
4.1.3 配置zookeeper

复制安装目录下的conf目录下的zoo_sample.cfg文件为zoo.cfg

cp zoo_sample.cfg zoo.cfg

配置zoo.cfg文件

vim zoo.cfg

# 添加如下内容
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/kk/export/soft/zookeeper370/data
# 客户端连接端口
clientPort=2181
server.1=192.168.72.88:2888:3888
server.2=192.168.72.89:2888:3888
server.3=192.168.72.90:2888:3888

进入上面配置的dataDir选项的目录中创建myid文件,并配置编号

vim myid
# 把编号写入即可这里为 1

在这里插入图片描述在这里插入图片描述

4.1.4 启动zookeeper查看服务
zkServer.sh start  		# 启动服务
zkServer.sh status 		# 查看服务
zkServer.sh stop			# 关闭服务
jps								# 查看进程

在这里插入图片描述

4.1.4 复制到node2和node3中

进入到安装目录中 - 这里为soft

rcp -r zookeeper370 node2:`pwd`
rcp -r zookeeper370 node3:`pwd`

到node2和node3中分别添加环境变量和修改zookeeper编号myid文件内分别为2和3
在node2和node3中分别测试:

zkServer.sh start  
zkServer.sh status
4.1.5 编写shell文件一件启动所有服务和关闭所有服务

需要先实现ssh免密登录

创建一个shell目录 – 这里操作多在node1中,所以只在node1中创建

mkdir ~/shell
cd ~/shell
# 创建两个文件
touch start-zookeeper.sh
touch stop-zookeeper.sh
# 编写两个sh文件
vim start-zookeeper.sh
vim start-zookeeper.sh

内容分别为:
start-zookeeper.sh:

#zkStart.sh
#!/bin/bash
#启动
for host in node11 node22 node33
do
        echo "===========$host start==============="
        ssh  $host 'source /home/kk/.bashrc; zkServer.sh start'
done
sleep 1s
#状态
for host in node11 node22 node33
do
        echo "===========>  $host status <==============="
        ssh  $host 'source zkServer.sh status'
done

stop-zookeeper.sh:

#!/bin/bash
for host in node11 node22 node33
do
        echo "===========start zk cluster :$host start==============="
        ssh  $host 'source /home/kk/.bashrc; zkServer.sh stop'
done
4.1.6 运行编写的shell文件
sh ./start-zookeeper.sh

在这里插入图片描述

sh ./stop-zookeeper.sh

在这里插入图片描述

4.2 配置hdfs高可用

进入到hadoop配置文件中

4.2.1 在core-site.xml中新增
vim core-site.xml
# 新增如下配置
<!--指定zookeeper地址-->
 <property>
         <name>ha.zookeeper.quorum</name>
         <value>node11:2181,node22:2181,node33:2181</value>
</property>
#修改内容
<!-- 高可用模式配置,这里的xjycluster为自定义名称,需要和hdfs-site.xml中配置的值保持一致-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://xjycluster</value>
</property>
4.2.2 在hdfs-site.xml中新增
vim hdfs-site.xml
#  新增如下

<!--指定namenode集群名称-->
<property>
        <name>dfs.nameservices</name>
        <value>xjycluster</value>
</property>
<!--确定那几台为namenode节点-->
<property>
        <name>dfs.ha.namenodes.xjycluster</name>
        <value>nn1,nn2</value>
</property>
<!--指定两个namenode节点的通信地址-->
<property>
        <name>dfs.namenode.rpc-address.xjycluster.nn1</name>
        <value>node11:8020</value>
</property>
<property>
        <name>dfs.namenode.rpc-address.xjycluster.nn2</name>
        <value>node22:8020</value>
</property>
<!--配置namenode在web端浏览的地址-->
<property>
        <name>dfs.namenode.http-address.xjycluster.nn1</name>
        <value>node11:9870</value>
</property>
<property>
        <name>dfs.namenode.http-address.xjycluster.nn2</name>
        <value>node22:9870</value>
</property>
<!--指定journalnode存储地址-->
<property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/kk/data/journalnode</value>
</property>
<!--指定namenode失败后自动切换的主类-->
<property>
        <name>dfs.client.failover.proxy.provider.xjycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 指定namenode元数据在journalnode上的存放位置，journalnode用于同步主备namenode之间的edits文件 -->
<property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node11:8485;node22:8485;node33:8485/xjycluster</value>
</property>
<!-- 启用namenode故障自动转移 -->
<property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
</property>
<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
<property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
</property>
<!-- 使用隔离机制时需要ssh秘钥登陆 -->
<property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/kk/.ssh/id_rsa</value>
</property>
4.2.3 在hadoop-env.sh中新增
vim hadoop-env.sh
# 新增如下内容,kk用户名
export HDFS_JOURNALNODE_USER=kk
export HDFS_ZKFC_USER=kk
4.2.4 分发配置
scp -r hadoop-env.sh hdfs-site.xml core-site.xml node22:`pwd`
scp -r hadoop-env.sh hdfs-site.xml core-site.xml node33:`pwd`
4.2.5 初始化启动

启动三台机器上的journalnode

hdfs --daemon start journalnode
# 这里使用远程命令,也可到每台机器上单独执行
ssh node22 hdfs --daemon start journalnode
ssh node33 hdfs --daemon start journalnode
# jps查看会出现journalnode进程

重新格式化namenode:

# 在node11上格式化namenode节点
hdfs namenode -format

# 格式化后启动namenode节点,在node22中同步执行namenode同步-一定需要先启动node11中的namenode否则无法与node11通讯
hdfs --daemon start namenode		# 单独启动namenode节点命令
hdfs namenode -bootstrapStandby

# 同步之后停止node11上namenode
hdfs --daemon stop namenode 

# 初始化在zookeeper中的状态
hdfs  zkfc -formatZK

启动hdfs集群:

# 需要保证zookeeper集群启动
start-dfs.sh

查看每个节点上的进程:
node11和node22中都有namenode节点
在这里插入图片描述

4.2.5 查看状态
# 查看nn1是否为active
hdfs haadmin -getServiceState nn1

active在nn2(node22)上:
在这里插入图片描述
制造node22宕机:

# 杀死node22的namenode进程
skill 进程号

在这里插入图片描述
active已经自动转换到了nn1上:
在这里插入图片描述
在这里插入图片描述

夜深人静学 算法
关注
  • 6
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-hdfs-2.7.2.jar
11-13
有时候需要查看修改或者回复hdfs的默认配置，在这个jar包里面，可以把hadoop-default.xml拿出来
HadoopHA高可用集群配置 hdfs-site.xml
07-07
HadoopHA高可用集群配置 hdfs-site.xml
配置高可用的Hadoop平台
03-03
在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（HighAvailable高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN。然后根据提示，设置密码。接着我给hadoop用户设置面免密码权限，也可自行添加其他权限。将下载好的安装包解压到/usr/java/jdk1.7，然后设置环境变量，命令如下：然后编辑配置，内容如下：然后使环境变量立即生效，命令如下：然后验证JDK是否配置成功，命令如下：若显示对应版本号，即表示JDK配置成功。否则，配置无效！集群中所有机器的hosts配置要要相同（推荐）。可以避免不必要的麻烦，用域名取代IP，方便配置。配置信息如下：然后用scp命令
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要） 导出器使用解析FSImage。 这种方法的优点是 快速（2.6 GB FSImage〜50s） 不会给HDFS NameNode增加额外的负担（没有NameNode查询，您可以在第二个NameNode上运行它） 缺点是 没有实时更新，仅在NameNode写入FSImage时每6小时更新一次。 但是对于大多数情况（长期趋势，检测HDF
【HDFS篇13】HA高可用 --- YARN-HA集群配置1
08-04
1.官方文档 2.工作机制图 1.环境准备 2. 规划集群 3.具体配置
Hadoop系列-HDFS HA高可用集群
happy19870612's blog
10-23 2265
前言： 在HDFS集群的时候我们知道，NameNode只有一个，如果现在NameNode挂掉了，或者NameNode需要硬件或者软件的升级，那么势必就有单点问题。那么HDFS HA就是来解决这个问题的。 HA架构图：   集群需要考虑的问题： 1 我们要考虑两个NM之间的元数据是共享或者同步的 NM启动的时候，会去读取fsimage和 edits文件，那么备份NM也需要读取这两个文
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 3146
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
Hadoop---Hdfs HA即NameNode的高可用
qq_39872456的博客
02-16 1147
一、为什么引入高可用 因为namenode存在单点失效问题。如果namenode失效了，那么所有的客户端，包括MR作业，均无法读或者写文件，因为你namenode是唯一存储元数据与文件到数据库映射的地方。即使使用了2NN节点，也无法做到做到完全恢复，因为2NN不算是namenode的一个热备。 二、Hdfs的高可用 1、机制 HDFS HA配置了一对活动-备用namenode。当活动namenode失效。备用namendoe就会接管它的任务并开始服务与来自客户端的请求，不会有任何明显的中断。 2、
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
黑泽君
02-24 311
大数据技术之_07_Hadoop学习_HDFS_HA(高可用)_HA概述+HDFS-HA工作机制+HDFS-HA集群配置+YARN-HA配置+HDFS Federation(联邦) 架构设计
Hadoop-hdfs下载
05-31
Windows下配置Hadoop环境 JAVA实现Hadoop-hdfs文件上传、下载
【HDFS篇12】HA高可用 --- HDFS-HA集群配置1
08-04
1.集群规划 2.解压安装 4.集群操作 1.官方地址 2.在opt目录下创建一个ha文件夹 7.拷贝配置好的hadoop环境到其他节点 1.在各个Journa
Hadoop-HDFS高可用
lu070828的博客
01-07 1354
在我们的博客中已经包含了HDFS高可用的搭建，这里描述下它的原理。
Hadoop-HDFS
一位即将谢顶的BD程序牛
05-26 909
Hadoop HDFS(Hadoop Distributed File System)是Apache Hadoop中的分布式文件系统。它是一个流行的分布式文件系统,适合运行在的集群上。HDFS的主要特征有:1. 分布式:HDFS存储文件的片段称为block,每个block默认大小为128MB,一个文件会被划分成多个block存储在集群的不同节点上。2. 容错:HDFS会自动保存文件多份副本,默认保存3份副本,这样即使某个节点失效,数据也不会丢失。
hadoop高可用【HA】配置详解
大唐有趣的小胡.
07-31 3653
想实现 Hadoop 高可用就必须实现 NameNode 的高可用，NameNode 是HDFS的核心，HDFS 又是 Hadoop 核心组件，NameNode 在 Hadoop 集群中至关重要；NameNode 宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集群的数据丢失，而 NameNode 的数据更新又比较频繁，实现 NameNode 高可用势在必行；...
Hadoop-HA-3.3.3高可用集群搭建
qq_39604679的博客
05-29 2577
hadoop最新版本的HA高可用集群搭建流程
011 Hdfs的ha高可用配置 Hdfs的ha测试
C_time的博客
05-26 502
1.Hdfs的ha配置 2.Hdfs的ha测试
WPF基础应用
最新发布
泰勒今天想展开的博客
05-02 1101
Grid: Grid是最常用的布局容器之一，它允许你通过定义行和列以及对元素进行定位来进行布局。在Grid中，可以设置元素的边距来控制其与其他元素的距离。StackPanel: StackPanel按照单一方向（垂直或水平）堆叠其子元素。子元素的宽度或高度将取决于其内容，这使得它非常适合用来创建简单的列表或工具栏等。WrapPanel: WrapPanel允许子元素根据可用空间自动换行。当父容器的宽度被占满时，WrapPanel会自动将后续的元素放置到新的一行。DockPanel。
datax 配置 hdfs高可用
09-26
datax不支持通过域名访问高可用的hdfs。然而，你可以通过以下两种方式配置datax与hdfs进行高可用的访问： 1. 使用hadoop的HA(High Availability)特性配置hdfs。HA配置使得多个hdfs节点可以使用相同的命名空间和数据，通过主备机制来实现高可用。你可以参考hadoop的官方文档或者相关教程来完成HA配置，然后在datax配置文件中使用hdfs的nameservice来替代具体的节点地址。 2. 使用hadoop提供的hadoop-hdfs-client组件来访问hdfs。hadoop-hdfs-client提供了一个高层次的hdfs客户端，支持与HA配置的hdfs集群进行交互。你可以将hadoop-hdfs-client添加到datax的依赖中，并在datax配置文件中使用hdfs集群的nameservice来访问hdfs。 请注意，以上两种方式都需要确保datax与hdfs集群的网络连通性，并且必须具备相应的权限。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值