Hadoop高可用搭建（二）

最新推荐文章于 2023-03-16 23:47:54 发布
最新推荐文章于 2023-03-16 23:47:54 发布
阅读量475 收藏 1
点赞数
分类专栏： Hadoop 大数据 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_57151931/article/details/129045712
版权

目录

解压Hadoop

改名

更改配置文件

workers

hdfs-site.xml

core-site.xml

hadoop-env.sh

mapred-site.xml

yarn-site.xml

设置环境变量

启动集群

启动zk集群

启动journalnode服务

格式化hfds namenode

启动namenode

同步namenode信息

查看namenode节点状态

查看启动情况

关闭所有dfs有关的服务

格式化zk

启动dfs

启动yarn

  查看resourcemanager节点状态 

测试集群wordcount

创建一个TXT文件

上传到hdfs上面

查看输出结果 

解压Hadoop

[root@ant51 install]# tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

改名

[root@ant151 install]# cd /opt/soft
[root@ant151 soft]# mv hadoop-3.1.3/ hadoop313

更改配置文件

workers

[root@ant151 ~] # cd /opt/soft/hadoop313/etc/hadoop

[root@ant151 hadoop] # vim workers

把所有的虚拟机加上去

hdfs-site.xml

[root@ant151 hadoop] # vim hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
    <description>hadoop中每一个block文件的备份数量</description>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/name</value>
    <description>namenode上存储hdfs名字空间元数据的目录</description>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/data</value>
    <description>datanode上数据块的物理存储位置目录</description>
  </property>
 <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>ant151:9869</value>
   <description></description>
  </property>
 <property>
    <name>dfs.nameservices</name>
    <value>gky</value>
   <description>指定hdfs的nameservice，需要和core-site.xml中的保持一致</description>
  </property>
 <property>
    <name>dfs.ha.namenodes.gky</name>
    <value>nn1,nn2</value>
   <description>gky为集群的逻辑名称，映射两个namenode逻辑名</description>
  </property>
 <property>
    <name>dfs.namenode.rpc-address.gky.nn1</name>
    <value>ant151:9000</value>
   <description>namenode1的rpc通信地址</description>
  </property>
<property>
    <name>dfs.namenode.http-address.gky.nn1</name>
    <value>ant151:9870</value>
   <description>namenode1的http通信地址</description>
  </property>
 <property>
    <name>dfs.namenode.rpc-address.gky.nn2</name>
    <value>ant152:9000</value>
   <description>namenode2的rpc通信地址</description>
  </property>
<property>
    <name>dfs.namenode.http-address.gky.nn2</name>
    <value>ant152:9870</value>
   <description>namenode2的http通信地址</description>
  </property>
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://ant151:8485;ant152:8485;ant153:8485/gky</value>
   <description>指定namenode的edits元数据的共享存储位置（JournalNode列表）</description>
  </property>
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/soft/hadoop313/data/journaldata</value>
   <description>指定JournalNode在本地磁盘存放数据的位置</description>
  </property>
<!-- 容错 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
   <description>开启NameNode故障自动切换</description>
  </property>
<property>
    <name>dfs.client.failover.proxy.provider.gky</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
   <description>如果失败后自动切换的实现的方式</description>
  </property>
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
   <description>防止脑裂的处理</description>
  </property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
   <description>使用sshfence隔离机制时，需要用ssh免密登陆</description>
  </property>

  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
    <description>关闭hdfs操作的权限验证</description>
  </property>

  <property>
    <name>dfs.image.transfer.bandwidthPerSec</name>
    <value>1048576</value>
    <description></description>
  </property>
 <property>
    <name>dfs.block.scanner.volume.bytes.per.second</name>
    <value>1048576</value>
    <description></description>
  </property>

</configuration>

core-site.xml

[root@ant151 hadoop] # vim core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://gky</value>
    <description>逻辑名称，必须与hdfs-site.xml中的dfs.nameservice值保持一致</description>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop313/tmpdata</value>
    <description>namenode上本地的hadoop临时文件夹</description>
  </property>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
   <description>默认用户</description>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
    <description>读写队列缓存：128k；读写文件的buffer大小</description>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
   <description>代理用户</description>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
   <description>代理用户组</description>
  </property>
 <property>
    <name>ha.zookeeper.quorum</name>
    <value>ant151:2181,ant152:2181,ant153:2181</value>
   <description>高可用用户连接</description>
  </property>
 <property>
    <name>ha.zookeeper.session-timeout.ms</name>
    <value>10000</value>
   <description>hadoop连接zookeeper会话的超时时长为10s</description>
  </property>
</configuration>

hadoop-env.sh

[root@ant151 hadoop] # vim hadoop-env.sh

大概54行左右JAVA_HOME

export JAVA_HOME=/opt/soft/jdk180
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

mapred-site.xml

[root@ant151 hadoop] # vim mapred-site.xml


<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>job执行框架：local,classic or yarn</description>
    <final>true</final>
  </property>
  <property>
   <name>mapreduce.application.classpath</name>
    <value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>ant151:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>ant151:19888</value>
  </property>

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
 <description>map阶段task工作内存</description>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
 <description>reduce阶段task工作内存</description>
  </property>

</configuration>

yarn-site.xml

[root@ant151 hadoop] # vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
		<description>开启resourcemanager高可用</description>
	</property>
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrcabc</value>
		<description>指定yarn集群中的id</description>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1</value>
		<description>指定resourcemanager的名字</description>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>ant153</value>
		<description>设置rm1的名字</description>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>ant153:8088</value>
		<description></description>
	</property>	
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>ant151:2181,ant152:2181,ant153:2181</value>
		<description>指定zk集群地址</description>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		<description>运行mapreduce程序必须配置的附属服务</description>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/opt/soft/hadoop313/tmpdata/yarn/local</value>
		<description>nodemanager本地存储目录</description>
	</property>
	<property>
		<name>yarn.nodemanager.log-dirs</name>
		<value>/opt/soft/hadoop313/tmpdata/yarn/log</value>
		<description>nodemanager本地日志目录</description>
	</property>
	
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>1024</value>
		<description>resource进程的工作内存</description>
	</property>
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>2</value>
		<description>resource工作中所能使用机器的内核数</description>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>256</value>
		<description></description>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
		<description></description>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>86400</value>
		<description>日志保留多少秒</description>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
		<description></description>
	</property>
	<property>
		<name>yarn.application.classpath</name>
		<value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
		<description></description>
	</property>
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
		<description></description>
	</property>
</configuration>

设置环境变量

[root@ant151 hadoop] # vim /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

 配置完成之后把hadoop313和配置文件拷贝到其余机器上面

hadoop

[root@ant151 shell]# scp -r ./hadoop313/ root@ant152:/opt/soft/
[root@ant151 shell]# scp -r ./hadoop313/ root@ant153:/opt/soft/

环境变量

[root@ant151 shell]# scp /etc/profile root@ant152:/etc

[root@ant151 shell]# scp /etc/profile root@ant153:/etc
所有机器刷新资源

[root@ant151 shell]# source /etc/profile

启动集群

启动zk集群

[root@ant151 shell]# ./zkop.sh start

[root@ant151 shell]# ./zkop.sh status

[root@ant151 shell]# ./showjps.sh

 

启动journalnode服务

启动ant151,ant152,ant153的journalnode服务

[root@ant151 soft]# hdfs --daemon start journalnode

格式化hfds namenode

在ant151上面操作

[root@ant151 soft]# hdfs namenode -format

启动namenode

在ant151上面操作

[root@ant151 soft]# hdfs --daemon start namenode

同步namenode信息

在ant152上操作

[root@ant152 soft]# hdfs namenode -bootstrapStandby

启动namenode

[root@ant152 soft]# hdfs --daemon start namenode

查看namenode节点状态

[root@ant151 zk345]# hdfs haadmin -getServiceState nn1
[root@ant151 zk345]# hdfs haadmin -getServiceState nn2

 

查看启动情况

[root@ant152 shell]# ./showjps.sh

关闭所有dfs有关的服务

[root@ant151 soft]# stop-dfs.sh

格式化zk

[root@ant151 soft]# hdfs zkfc -formatZK

启动dfs

[root@ant151 soft]# start-dfs.sh 

 

启动yarn

 [root@ant151 soft]# start-yarn.sh 

  查看resourcemanager节点状态 

[root@ant151 zk345]# yarn rmadmin -getServiceState rm1

测试集群wordcount

创建一个TXT文件

[root@ant151 soft]# vim ./aa.txt

上传到hdfs上面

[root@ant151 soft]# hdfs dfs -put ./aa.txt /

查看

[root@ant151 soft]# hdfs dfs -ls /

 mapreduce里面的jar包运行wordcount

运行

 [root@ant151 mapreduce]# hadoop jar ./hadoop-mapreduce-examples-3.1.3.jar  wordcount /aa.txt /out1

查看输出结果 

[root@ant151 mapreduce]# hdfs dfs -ls /
[root@ant151 mapreduce]# hdfs dfs -ls /out1
[root@ant151 mapreduce]# hdfs dfs -cat /out1/part-r-00000

出现

aa        1

bb        2

cc        3

则成功 

快乐画饼
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop高可用搭建
11-13
hadoop集群搭建高可用文档在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH ...
Hadoop HA 详细配置及注意事项
Lpy的博客
08-19 441
一、文件配置(配置顺序并无先后) 1.配置hadoop-env.sh 打开hadoop.env.sh：vim hadoop/etc/hadoop/hadoop/env.sh 修改：export JAVA_HOME=/你的路径/jdk1.8.0_144，根据自己安装的jdk版本及路径配置 2.配置core-site.xml。注意：第二项路径要改为自己的真实目录 <configuration> <!-- 把两个NameNode）的地址组装成一个集群mycluster --&gt..
hadoop-2.6.0-cdh5.9.3分布式高可用部署
linux运维工程师的博客
09-06 917
大家好，我是Linux运维工程师 Linke 。技术过硬，从不挖坑~ 此文只说各组件的作用，部署搭建，不谈原理。知道这些基础组件的作用后，自个儿心中大概就对这玩意儿的工作方式有个差不多的了解了。好吧，其实我就这两下子，下面进入正题。（下面我是用root用户启动的，生产不用用root用户） hdfs的一些专用词汇说明 NameNode： 负责管理文件系统的 namespace 以及客户端对文件的...
hadoop-hdfs ha的搭建
非衣鲲化的博客
06-17 210
最近搭建了一个hadoop-hdfs得高可用集群，想来有必要做一个记录，已被后面查看。 第一、首先要规划网络拓扑图 第二、准备环境 1）由于hdfs是Java编写的，所以需要安装jdk，然后配置环境变量 2）第二，由于高可用需要通过zookeeper进行分配起作用，所以需要安装zookeeper集群来实现 3）两个namenode失效需要通过zkfc进行失效切换，这时候需要两台nam...
hadoop ha的配置与踩坑
weixin_38472282的博客
03-17 337
配置hadoop ha模式，首先配置 zookeeper 配置zoo.cfg tickTime=2000 maxClientCnxns=0 initLimit=50 syncLimit=5 dataDir=/home/zfy/zookeeper-3.4.13/zkdata dataLogDir=/home/zfy/zookeeper-3.4.13/zkdatalog clientPort=2182 server.1=node1664:12888:13888 server.2=nod
Hadoop高可用
m0_52271180的博客
03-15 2619
搭建Hadoop高可用
hadoop高可用搭建文档
10-10
hadoop高可用搭建文档，搭建成功，适用于生产环境，如果高版本，需要对应修改修改即可
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
Hadoop高可用集群搭建
07-24
Hadoop高可用集群搭建
手动搭建hadoop高可用
03-09
手动搭建hadoop集群（包括hadoop的Ha好可用），零基础教程
hadoop2 namenode HA的问题
victory0508的专栏
04-05 539
问题：namenode挂掉了，HA中standby的节点没有接过来 1. namenode挂掉的原因： 是与jornalnode通讯超时，20000ms不够，修改文件，添加如下参数来修改默认配置：                 dfs.qjournal.write-txns.timeout.ms                 60000 2. namenode挂掉
Hadoop04 Hdfs HA集群搭建
最新发布
csg103的博客
03-16 150
在集群模式下有一个NameNode,数据磁盘化由SNN去做，高可用模式下有两个(hadoop2.0)或多个（3.0）NameNode ，一个主 其他的是备 ，备用节点可以去做磁盘化。架构如下所示部署架构图利用集群模式修改配置文件首先部署两个NameNode修改配置文件 mycluster为集群名称，根据此名称可以找到其他NameNode。
大数据之HDFS HA模式用户权限
Im_LSY的博客
07-31 430
前面创建的集群都是用root用户创建的，但是企业中是不会用root进行操作，这里将对root搭建的应用切换到普通用户管理。 实操：切换root用户搭建的HDFS,用god(自己新建的普通用户)来管理。 1.停止之前的集群 $ stop-dfs.sh 2.在每个节点机器添加普通用户 $ useradd god $ passwd god 3.将资源和用户绑定 # hdfs集群目录 $ chown -R god /opt/bigdata/hadoop # 文.
从装机到hadoop完全分布式--系统配置
maoxiao_jsd的专栏
10-12 1444
ubuntu13.04下载地址 http://releases.ubuntu.com/13.04/ export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64 export JRE_HOME=${JAVA_HOME}/jre export HADOOP_HOME=/home/xiaomao/cloud/hadoop export
Windows PC上创建大数据职业技能竞赛实验环境之五--hadoop、hive和spark编程
liu9ang的博客
04-14 841
前述，我们在Windows WSL上，通过Docker容器技术实现了Hadoop集群环境，现在看看利用现有集群环境进行编程开发。 1 设置容器开启时自运行SSH服务 参照docker中安装Ubuntu无法在启动时运行ssh服务的解决方案 - llCoding - 博客园 (cnblogs.com)，在我们的hadoop-spark集群镜像中添加如下内容： vim /root/startup_run.sh chmod +x /root/startup_run.sh 编写startup_run.sh
第6章 HDFS HA配置
大数据实战派
07-10 430
目录6.1 hdfs-site.xml文件配置6.2 core-site.xml文件配置6.3 启动与测试6.4 结合ZooKeeper进行自动故障转移 在Hadoop 2.0.0之前，一个HDFS集群中只有一个单一的NameNode，如果NameNode所在的节点宕机了或者因服务器软件升级导致NameNode进程不可用，则将导致整个集群无法访问，直到NameNode被重新启动。...
Quorum Journal实现HDFS HA配置dfs.ha.fencing.methods
chanyue123的博客
09-17 2028
1.为什么使用Quorum Journal方式实现hdfs ha配置dfs.ha.fencing.methods只需要写shell(true)？ 2.dfs.ha.fencing.methods 表示：a list of scripts or Java classes which will be used to fence the Active NameNode during a failover 而配置为shell(true)就是直接返回隔离成功，即表示没进行任何操作，为什么不会导致脑裂现象的发生..
配置Hadoop的HA(高可用)
Dimples.
11-18 304
在搭建完全分布式的基础上配置HA。 一、手动HA。 1、首先将完全分布式的配置文件备份。复制一份配置文件用来搭建HA。 $ cp -r /home/betty/soft/hadoop/etc/cluster_hadoop /home/betty/soft/hadoop/etc/HA_hadoop $ rm hadoop -------删掉之前的软连接。 $ ln -s HA_hadoo...
谦先生-hadoop大数据运维纪实
weixin_30555753的博客
11-27 243
1、NN宕掉切不过去先看zkfc的log引起原因是dfs.ha.fencing.ssh.private-key-files的配置路径配错造成以致无法找到公钥2、dfs.namenode.shared.edits.dir为JN启动的所在地址，在部署时必须启动对应服务器的JN，否则无法完成NN的元信息拷贝3、zkfc为zookeeper的客户端，负责切换action的工作，当zkfc启动了的时候s...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值