大数据集群搭建（连载版）--Hadoop高可用部署

最新推荐文章于 2024-11-09 00:12:28 发布
最新推荐文章于 2024-11-09 00:12:28 发布
阅读量182 收藏
点赞数
文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40657218/article/details/130393701
版权

结合上篇文章【大数据集群搭建（连载版）–集群规划】继续来搭建Hadoop，其中包含HDFS、Yarn的部署

一、HDFS集群部署

1.1 下载并解压安装包到/opt/soft目录下
cd /opt/soft 
wget $HADOOP_DOWNLOAD_URL
tar -zxvf hadoop-2.8.5.tar.gz
mv hadoop-2.8.5 hadoop
# ---------------------------------
# 添加环境变量
cat > /etc/profile.d/hadoop.sh << EOF
export HADOOP_HOME=/opt/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
EOF

更改配置文件，默认配置文件使用/opt/soft/hadoop/etc/hadoop

core-site.xml
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/data/bigdata/hadoop/journalnode</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/bigdata/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>mapper-node1:2181,mapper-node2:2181,mapper-node3:2181</value>
  </property>
<property>
    <name>hadoop.proxyuser.hdfs.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hdfs.groups</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hive.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hive.groups</name>
    <value>*</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/bigdata/hadoop/name</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>67108864</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/bigdata/hadoop/data</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>/data/bigdata/hadoop/checkpoint</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>10</value>
  </property>
  <property>
    <name>dfs.datanode.handler.count</name>
    <value>10</value>
  </property>
  <property>
    <name>dfs.nameservices</name>
    <value>ns1</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>mapper-node1:9000</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>mapper-node2:9000</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>mapper-node1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>mapper-node2:50070</value>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://mapper-node1:8485;mapper-node2:8485;mapper-node3:8485;/ns1</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>shell(/bin/true)</value>
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.permissions.superusergroup</name>
    <value>hadoop</value>
  </property>
</configuration>
hadoop-env.sh
export JAVA_HOME=${JAVA_HOME}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"}
for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do
  if [ "$HADOOP_CLASSPATH" ]; then
    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f
  else
    export HADOOP_CLASSPATH=$f
  fi
done
export HADOOP_HEAPSIZE=2048
# export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Dsun.security.krb5.debug=true -Dsun.security.spnego.debug"
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"
export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_NAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS $HADOOP_DATANODE_OPTS"
export HADOOP_SECONDARYNAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender} $HADOOP_SECONDARYNAMENODE_OPTS"
export HADOOP_NFS3_OPTS="$HADOOP_NFS3_OPTS"
export HADOOP_PORTMAP_OPTS="-Xmx512m $HADOOP_PORTMAP_OPTS"

# The following applies to multiple commands (fs, dfs, fsck, distcp etc)
export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS"
# set heap args when HADOOP_HEAPSIZE is empty
if [ "$HADOOP_HEAPSIZE" = "" ]; then
  export HADOOP_CLIENT_OPTS="-Xmx1024m $HADOOP_CLIENT_OPTS"
fi
export HADOOP_SECURE_DN_USER=${HADOOP_SECURE_DN_USER}
export HADOOP_LOG_DIR=/data/bigdata/logs/hadoop/hdfs
export HADOOP_PID_DIR=${HADOOP_PID_DIR}
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
export HADOOP_IDENT_STRING=$USER
1.2 上述配置更改完成后，拷贝部署目录到其他节点
scp /opt/soft/hadoop root@mapper-node2:/opt/soft
scp /opt/soft/hadoop root@mapper-node3:/opt/soft

格式化zkfc、namende，并启动对应角色服务

hdfs zkfc -formatZK
hdfs namenode -format # mapper-node1节点上执行
#启动mapper-node1节点服务
hadoop-daemon.sh start zkfc
hadoop-daemon.sh start journalnode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start namenode
# mapper-node2节点操作
hdfs namenode -bootstrapStandby # mapper-node2节点执行，引导standby节点同步active节点数据

依次在mapper-node2、mapper-node3使用hadoop-daemon.sh启动对应节点的角色服务

启动完成后进行验证，可以通过访问mapper-node1:50070端口查看是否已正常启动

二、验证HDFS服务

# 操作文件是否正常
hdfs dfs -mkdir -p /tmp/test
hdfs dfs -put a.txt /tmp/test
hdfs dfs -get /tmp/test/a.txt
# 查看hdfs集群信息
hdfs dfsadmin -report
# 查看active、standby节点是否正常
hdfs haadmin -getAllServiceState

在这里插入图片描述

三、验证HDFS高可用

获取到active状态的节点

hdfs haadmin -getAllServiceState # 获取到mapper-node2
# 停止active状态的节点namenode服务，停止过程中对zkfc服务日志进行监控
hadoop-daemon.sh stop namenode
# 停止active状态的namenode后，zkfc会检测到active namenode退出并尝试连接，最终将standby状态namenode转换为active，日志输出如下
# Successfully transitioned NameNode at mapper-node1/192.168.30.183:9000 to active state

# 再次进行上述的文件操作，验证是否能够正常使用
hdfs dfs -mkdir -p /tmp/test
hdfs dfs -put a.txt /tmp/test
hdfs dfs -get /tmp/test/a.txt

四、Yarn集群部署

配置文件

yarn-site.xml
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster1</value>
  </property>
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>mapper-node1</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>mapper-node2</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>mapper-node1:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>mapper-node2:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>mapper-node1:2181,mapper-node2:2181,mapper-node3:2181</value>
  </property>
</configuration>
yarn-env.sh
export HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}
export YARN_CONF_DIR="${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}"
if [ "$JAVA_HOME" != "" ]; then
  JAVA_HOME=$JAVA_HOME
fi
  
if [ "$JAVA_HOME" = "" ]; then
  echo "Error: JAVA_HOME is not set."
  exit 1
fi

JAVA=$JAVA_HOME/bin/java
JAVA_HEAP_MAX=-Xmx1000m 
YARN_HEAPSIZE=2048
if [ "$YARN_HEAPSIZE" != "" ]; then
  JAVA_HEAP_MAX="-Xmx""$YARN_HEAPSIZE""m"
fi
export YARN_RESOURCEMANAGER_HEAPSIZE=2048
export YARN_NODEMANAGER_HEAPSIZE=10240
IFS=
if [ "$YARN_LOG_DIR" = "" ]; then
  YARN_LOG_DIR="/data/bigdata/logs/hadoop/yarn"
fi
if [ "$YARN_LOGFILE" = "" ]; then
  YARN_LOGFILE='yarn.log'
fi
if [ "$YARN_POLICYFILE" = "" ]; then
  YARN_POLICYFILE="hadoop-policy.xml"
fi
unset IFS
YARN_OPTS="$YARN_OPTS -Dhadoop.log.dir=$YARN_LOG_DIR"
YARN_OPTS="$YARN_OPTS -Dyarn.log.dir=$YARN_LOG_DIR"
YARN_OPTS="$YARN_OPTS -Dhadoop.log.file=$YARN_LOGFILE"
YARN_OPTS="$YARN_OPTS -Dyarn.log.file=$YARN_LOGFILE"
YARN_OPTS="$YARN_OPTS -Dyarn.home.dir=$YARN_COMMON_HOME"
YARN_OPTS="$YARN_OPTS -Dyarn.id.str=$YARN_IDENT_STRING"
YARN_OPTS="$YARN_OPTS -Dhadoop.root.logger=${YARN_ROOT_LOGGER:-INFO,console}"
YARN_OPTS="$YARN_OPTS -Dyarn.root.logger=${YARN_ROOT_LOGGER:-INFO,console}"
if [ "x$JAVA_LIBRARY_PATH" != "x" ]; then
  YARN_OPTS="$YARN_OPTS -Djava.library.path=$JAVA_LIBRARY_PATH"
fi  
YARN_OPTS="$YARN_OPTS -Dyarn.policy.file=$YARN_POLICYFILE"
mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
mapred-env.sh
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1024
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA
export HADOOP_MAPRED_LOG_DIR="/data/bigdata/logs/hadoop/mapred"

每个节点的yarn相关配置文件更改完成后，启动yarn

yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
mr-jobhistory-daemon.sh start historyserver

验证yarn服务是否正常使用

# 提交Pi mapreduce任务
hadoop jar /opt/soft/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar pi 1 2

在这里插入图片描述

界面显示任务执行正常，并在终端显示Estimated value of Pi is 4.00000000000000000000，即表示yanr服务使用正常

五、验证yarn集群高可用

# 停止yarn处于active状态的resourcemanager
yarn rmadmin -getAllServiceState
# mapper-node1:8033                                  standby   
# mapper-node2:8033                                  active  
ssh mapper-node2 'yarn-daemon.sh stop resourcemanager'

停止后，standby节点会检测到active的节点宕机后，切换为active状态，并将nodemanager节点注册到新的resourcemanager

.Feng_
关注
【大数据入门核心技术-Hadoop】（六）Hadoop3.2.1高可用集群搭建
12-03 3359
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。单Namenode节点模式-高可用HA模式集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。本教程主要安装 多Namenode 节点 高可用集群模式二、准备工作本高可用参考以上非高
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
2301_77356579的博客
05-03 935
大数据技术之Hadoop-3.3.4高可用安装部署操作文档
【大数据】Hadoop高可用部署
weixin_43833235的博客
08-25 913
HDFS的块是计算机系统最小的存储单元。它是分配给文件的最小的连续存储单元。在 Hadoop，也有块的概念，只是比计算机系统的块要大得多，默认是128MB或者256MB。
五、Hadoop高可用部署
ynzzxc的博客
03-29 1526
（1）下载安装包并解压到指定目录 （2）修改配置文件，并添加必要变量 （3）分发到其他节点，配置环境变量 以dataxc用户为例，脚本示例如下： #!/bin/bash # hadoop.sh nodes=(n101 n102 n103) #集群地址 zk_connect='n101:2181,n102:2181,n103:2181' hdns='n101:8485;n102:8485;n103:8485' #解压hadoop到程序目录 cd /home/dataxc/sw &&amp
大数据集群的部署实例
不断学习，不断进步，提高自己
05-24 1928
集群可以提高系统性能、提高可用性和增强灵活性，能很好完成复杂的任务。本篇重点介绍CentOS集群系统及部署，以及SSH安全登录及配置。 01、集群规划 为了简化操作，使用三台服务器作为集群节点，其中一台为Master节点，两台为Slave节点。集群节点IP规划如下： master：172.30.0.10 slave1：172.30.0.11 slave2：172.30.0.12 netmask: 255.255.255.0 gateway：172.30.0.254 02、网络配置 对集群节点..
利用docker搭建大数据集群
weixin_44496939的博客
05-08 2624
容器启动成功后在命令行输入docker exec -it node1 /bin/bash就会进入node1容器节点。命令行输入docker ps 查看是否启动成功如果出现node1，node2，node3则表明启动成功。同样的输入docker exec -it node3 /bin/bash就会进入node3节点。同样的输入docker exec -it node2 /bin/bash就会进入node2节点。找到并进入dockerImage文件夹执行以下命令，启动容器。如果出现图一的样子，表示启动成功。
全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---第三部分
追求诗和远方的路上
03-25 664
##所有需要的资料全部已上传到百度网盘上，请自行下载## 获取镜像，https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA，提取码：ygyg 获取Xshell，https://pan.baidu.com/s/1xWRle9chuNtBpE0fDa7DHA，提取码：u3s6 获取Hadoop，https://pan.baidu.com/s/1a5M23KlUMtqKOoWqDnZBHQ，提取码：y1y3 获取jdk，https://pan.baidu.com/s/1ft
云服务器大数据高可用集群搭建-----hadoop篇
a_dreaming的博客
12-06 4947
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 【注意】主要记录自己在云端服务器搭建个人用hadoop集群过程 新的改变 我们对Markdo
大数据集群搭建（连载版）--Hive高可用搭建
xiaohu的博客
05-08 520
toRANDOMorSEQUENTIALRANDOMSEQUENTIAL存在两种模式RANDOM和SEQUENTIALRANDOM是在配置的uris列表中随机选中一个metastore作为对外开放的元数据服务，SEQUENTIAL则是尝试从列表的第一个开始连接，连接正常的作为对外开放的元数据服务部署Hive在安装前需要先安装外部存储元数据数据库，一般情况下使用mysql作为元数据数据库（部署方式略），并创建对应hive数据库用户及数据库，并将的驱动放入${HIVE_HOME}/lib目录下。
高可用大数据集群搭建--集群规划
xiaohu的博客
04-26 333
Zookeeper：分布式协调服务，可以由单个或多个节点组成。在Zookeeper集群中，有一个节点作为Leader，其他节点作为Follower。Leader节点负责协调所有客户端请求，并将它们发送到相应的Follower节点进行处理。Zookeeper还支持数据发布/订阅和通知机制，可以通过监视节点上的变化来实现配置管理和同步。JournalNode：主要用于提供高可用性和容错性支持。
大数据技术基础-安装-hadoop-过程 (2).docx
06-21
本篇主要介绍如何在虚拟环境中搭建Hadoop集群，涉及到虚拟机的选择、操作系统的选择、Java的安装以及Hadoop的初步部署。 首先，我们看到使用的是VirtualBox作为虚拟机软件，它是一款功能强大的开源虚拟化解决方案，...
（六）使用Ansible搭建分布式大数据基础环境-Hadoop高可用集群搭建
workwithwebis3w的专栏
07-05 2308
“使用Ansible搭建分布式大数据基础环境”系列文章完整包含了如何使用Ansible这一分布式运维利器，来帮我们快速搭建Hadoop2/Spark2/Hive2/ZooKeeper3/Flink1.7/ElasticSearch5等一整套大数据解决方案。本篇是系列文章的第六篇。更多后续文章敬请关注后续文章。
2024年大数据最新Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84181536的博客
05-02 787
服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称。通过SSH连接到Active NameNode并终止进程。存放namenode、datanode数据的根路径。列出运行 ZooKeeper 服务的主机端口对。存放journalnode数据的地址。两个namenode的rpc通信地址。hdfs分布式文件系统名字/地址。两个namenode的名称。切换namenode代理类。启动自动故障转移机制。
大数据--Hadoop环境部署(4)Hadoop集群部署
qq_51641196的博客
12-03 2224
Hadoop集群的部署方式分为三种，分别是独立模式(Standalone mode)、伪分布式模式(Pseudo-Distributed mode)和完全分布式模式(Cluster mode)，独立模式和伪分布式模式主要用于学习和调试，完全分布式通常在实际生产环境使用。 为了提高Hadoop集群的高可用性，通常使用ZooKeeper为Hadoop集群提供自动故障转移和数据一致性服务一.Hadoo...
hadoop+spark中8088，18080，19888，4040端口页面的区别
weixin_52642840的博客
11-06 566
spark和yarn各个页面的区别
C# WPF 打印机
若有博文对您有帮助，欢迎点赞关注，收藏评论。
11-06 399
【代码】C# WPF 打印机。
Hadoop(HDFS)
最新发布
weixin_42828342的博客
11-09 833
Hadoop是一个开源的分布式系统架构，旨在解决海量数据的存储和计算问题，Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）、MapReduce编程模型和YARN资源管理器,最近需求需要用到HDFS和YARN。
【Hadoop和Hbase集群配置】3台虚拟机、jdk+hadoop+hbase下载和安装、环境配置和集群测试
2201_75539359的博客
11-06 840
VMware+CentOS7，3台虚拟机配置hadoop集群，jdk+hadoop+hbase的下载和安装、环境配置，Hadoop和HBase集群测试
数据治理项目怎么做，3种推进思路可参考
esensoft123的博客
11-06 579
因此，即使有些人认为先建大数据平台而暂时无法实现业务支撑或应用分析是无效的，但实际上，在建设平台的过程中，企业的能力已经在逐步提升。因此，在做项目时，我们必须与最终用户达成一致，明确项目的定义和规划。先做数据治理顶层设计的规划，确定战略目标，进而拆解KPI，然后设立对应的支撑项目，并且根据优先级别进行排序，最后形成一个执行的路径，即每个阶段要建设的项目及其目标。这种方式的优点显而易见：它确保了项目有明确的规划和方向，从面到线，再到点，逐步落实，从而最大程度地保证了项目的成功，减少了无用功和重复建设。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值