大数据学习之路(准备篇)---------（二）「HA」Hadoop-2.9.2集群搭建

最新推荐文章于 2024-04-19 22:37:19 发布
最新推荐文章于 2024-04-19 22:37:19 发布
阅读量196 收藏
点赞数
文章标签： 大数据 Hadoop zookeeper ssh 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32969281/article/details/102648673
版权

在上一篇中已经介绍了Linux虚拟机的搭建，那么下一步我们就应该来搭建我们的Hadoop集群了。系列主要增加了HA高可用和YARN，一个充分解决了集群环境中namenode挂掉的情况，一个解决了mapreduce计算的缺陷。那么下面我们来具体操作吧。

集群目标

一、安排

在进行HA配置之前需要对HA的基本概念有所了解，并且设计好HA的集群节点。在之前1.0的时候NameNode 存在单点故障，虽然有 SecorndaryNameNode，但是它并不是NameNode的备份，它只是 NameNode 的一个助理，协助 NameNode 工作，对 fsimage 和 edits 文件进行合并，并推送给 NameNode ，防止因 edits 文件过大，导致 NameNode 重启变得缓慢。

  1. 各节点简称如下：
    NN 表示 NameNode
    DN 表示 DataNode
    ZK 表示 ZooKeeper
    JN 表示 JournalNode
    RM 表示 ResouceManager
    DM 表示 DataManager
  2. 各节点安排如下：
    下面表格中，1表示该机器上有此节点，总体集群是：两台namenode(3核2G)、三台Zookeeper（ZK的投票机制决定了要使用大于1的奇数台ZK）、一台resourceManager（node1上），三台datanode(1核1.5G)，后续如果不够用可以再加。
NNDNZKZKFCJNRNDM
node11111
node211111
node31111
node4111

二、安装步骤

安装Hadoop2.9.2

在安装之前我们先进行集群免密配置
1、首先在本地生成公钥和私钥。
ssh-keygen -t rsa #后面都按回车跳过即可（三次） # 运行结束后在 ~/.ssh/下生成两个新文件: id_rsa.pub和id_rsa
2、将公钥拷贝到远程主机
ssh-copy-id username@host # username是用户名 host是主机的地址 #远程主机将用户的公钥保存在 ~/.ssh/authorized_keys文件中
第二步是每台机器都要操作，包括本机。
将下载好的Hadoop安装包上传linux，在root创建一个soft文件夹，以后Hadoop的组件全部放入到这个文件夹下管理。
在这里插入图片描述
然后执行：

tar -zxvf hadoop-2.9.2.tar.gz
mv hadoop-2.9.2.tar.gz hadoop

解压好后，我们最主要修改三个文件，他们都在/root/soft/hadoop/etc/hadoop/

配置hadoop-env.sh

这里主要是配置java的路径，默认使用的是  `${JAVA_HOME}`，还是建议换成绝对的路径

 export JAVA_HOME=${JAVA_HOME}
 export JAVA_HOME=/usr/java/jdk1.8

配置hadoop-hdfs.xml

<property>
    <name>dfs.nameservices</name>
    <value>JPFee</value>
    <description>这个是集群的唯一标示，之后都会用到，官网指南上给的例子是mycluster</description>
</property>
<property>
    <name>dfs.ha.namenodes.JPFee</name>
    <value>nn1,nn2</value>
    <description>配置两个namenode的名称，注意namenodes的s和后面的JPFee，JPFee就是上面配置的nameservice</description>
</property>
<property>
    <name>dfs.namenode.rpc-address.JPFee.nn1</name>
    <value>node1:8020</value>
    <description>配置nn1的rpc地址（该地址是hdfs://node1:8020的地址）</description>
</property>
<property>
    <name>dfs.namenode.rpc-address.JPFee.nn2</name>
    <value>node2:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.JPFee.nn1</name>
  <value>node1:50070</value>
  <description>配置nn1的http的地址，通过这个地址能够访问nn1的web界面</description>
</property>
 <property>
  <name>dfs.namenode.http-address.JPFee.nn2</name>
  <value>node2:50070</value>
</property>
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
    <description>开启自动切换</description>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node2:8485;node3:8485;node4:8485/JPFee</value>
  <description>配置edits.dir，这个是为了投票将某个namenode标记为active的ZK地址，有三个ZK，分别在node1/node2/node3上，注意最后面的ptbirdns</description>  
</property>
<property>
  <name>dfs.client.failover.proxy.provider.JPFee</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  <description>这是默认的配置</description>
</property>
<property>
   <name>dfs.ha.fencing.methods</name>
   <value>sshfence</value>
   <description>配置通信方式为ssh</description>
</property>
<property>
   <name>dfs.ha.fencing.ssh.private-key-files</name>
   <value>/root/.ssh/id_rsa</value>
   <description>SSH免密钥登录的私钥</description>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/opt/hadoop/jndata</value>
  <description>配置journalnode的目录，主要存放fsImage等namenode的元数据,为了切换</description>
</property>

配置core-site.xml

<!-- do not know which node is avtive, so do not use ip address to replace hdfs://ptbirdns-->
<!-- and ptbirdns is the 'nameservice' in hdfs-site.xml-->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://JPFee</value>
  <description>上面的JPFee就是在hdfs-site中配置的nameservice</description>
</property>
<property>
  <name>ha.zookeeper.quorum</name>
  <value>node1:2181,node2:2181,node3:2181</value>
  <description>配置zookeeper的集群地址，默认端口2181</description>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/hadoop/tmp</value>
  <description>配置临时目录</description>
</property>

配置slaves

node2
node3
node4

配置Zookeeper

先去这个地址去下载zookeeper
下下来上传到soft下解压就行。，然后吧刚才的hadoop和zookeeper一块配置到环境变量中。

vim /etc/profile

#java
export JAVA_HOME=/mnt/software/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
#zookeeper home
export ZOOKEEPER_HOME=/root/soft/zookeeper/bin
export PATH=$PATH:$ZOOKEEPER_HOME
#HADOOP_HOME
 export HADOOP_HOME=/root/soft/hadoop
 export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

写完后不要忘了sourcem /etc/profile
配置 conf/zoo.sample.cfg ，当然需要改成zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/opt/zookeeper/
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
#
#zookeeper cluster config
#the "server.x":the x is the ID of the zookeeper cluster
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

最主要把dataDir这个文件夹配好，里面要配置myid。zookeeper cluster这个server后面1对应你的机器的myid。

配置完之后一定要检查一下你的集群所有机器的防火墙是否关闭，最好设置成开机关闭，不然zookeeper报错。

systemctl status firewalld.service    #查看firewalld状态
systemctl stop firewalld       #关闭
systemctl disable firewalld     #开机自动关闭   
chkconfig --list|grep network

在上述条件都配置好了之后。
在启动Hadoop之前先启动三台zookeeper。

zkServer.sh start

根据上面的配置条件，在2,3,4上分别执行以下命令开启journalnode

hadoop-daemon.sh start journalnode

在node1上进行format操作。

hadoop namenode -format

在这里插入图片描述
format成功(出现successfully)之后，需要将将node1的namenode启动,此时node1就是active的namenode
启动成功后，node1的元数据 /opt/Hadoop/tmp/dfs/name/current/fsimage_* 拷贝到node2【在没有格式化的namenode也就是node2上执行 hdfs namenode -bootstrapStandby】说明地址：指南

hdfs namenode -bootstrapStandby

在这里插入图片描述
上述操作成功后，停止dfs再重新启动dfs，此时node1不一定是active，可能node2是active。

 ./sbin/stop-dfs.sh
 ./sbin/start-dfs.sh

然后在其中一个namenode中初始化 zkfc ,官网地址：指南
这个命令一定要手打，不知道为什么，复制粘贴就是不对。

 ./bin/hdfs zkfc –formatZK

在这里插入图片描述
上述操作完成后，再次stop和start

./sbin/stop-dfs.sh
./sbin/start-dfs.sh

当出现这个界面，证明你已经安装好啦。
在这里插入图片描述
这节有点偏长了，下一节我们在配置MapReduce和YARN吧。
关注本公众号，分享视频教程，分享工作中遇到的问题，一起学习大数据。
在这里插入图片描述

System_FFF
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf
06-27
第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf第二章(Hadoop大数据处理实战)搭建Hadoop分布式集群.pdf
hadoop-yarn-common-2.6.5-API文档-中文版.zip
04-07
赠送jar包：hadoop-yarn-common-2.6.5.jar 赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-API文档-中文(简体)版.zip 对应Maven信息：groupId：org.apache.hadoop，artifactId：hadoop-yarn-common，version：2.6.5 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
hadoop-common-2.6.5-API文档-中文版.zip
04-07
赠送jar包：hadoop-common-2.6.5.jar 赠送原API文档：hadoop-common-2.6.5-javadoc.jar 赠送源代码：hadoop-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-common-2.6.5-javadoc-API文档-中文(简体)版.zip 对应Maven信息：groupId：org.apache.hadoop，artifactId：hadoop-common，version：2.6.5 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
hadoop-3.3.4 版本（最新版）
12-14
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程框架，设计用于跨电脑集群来 处理大数据。Hadoop 是一个能够让用户轻松搭建和使用的分布式计算平台，能 够让用户轻松地在 Hadoop 上开发和运行处理海量数据的应用程序。 Hadoop 架构有两个主要的组件：分布式文件系统 HDFS 和 MapReduce 引擎。 在 Hadoop 中，MapReduce 底层的分布式文件系统是独文模块，用户可按照约定 的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该文件 系统上的数据便可以被 MapReduce 处理。 官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！
eclipse使用Rinzo插件在编辑xml时能自动提示Java类
javaloveiphone的专栏
09-09 4075
1、Rinzo简介在官方网站上的介绍到，Rinzo是一款Eclipse的XML编辑器，可以使在处理XML文件时变得简洁高效。与一般的XML文件相比，具有以下特点： l 自动显示DTD或Schema里的标签和属性 l 验证XML文件的DTD或Schema语法 l 与Java元素的交互2、环境Eclipse3.3.x及以上版本 Eclipse里使用JRE5及以上版本3、安装（1）从Rinzo的官
hadoop2.9.2集群配置及运行
万物皆可互联，一切均可编程
07-02 1534
前言 hadoop版本为2.9.2 oracle java 1.8 三台centos7 官方文档 每台机器上/etc/hosts最后添加 10.61.8.247 master.wsxiot.cn 10.61.8.245 slave1.wsxiot.cn 10.61.8.246 slave2.wsxiot.cn 每台机器上配置hadoop环境变量并重启 export HADOOP_HOME=/...
CentOS 7.6搭建Hadoop2.9.2完全分布式集群，狠详细！
MHXSH_1_0的博客
02-25 410
详细参见开源中国博客地址：https://my.oschina.net/u/3489495/blog/3013280
三台服务器部署Hadoop集群HA高可用
qq_41508632的博客
11-16 734
一.安装JAVA环境——JDK 二.配置hosts系统文件 [root@nna /]# vi /etc/hosts 在hosts文件中添加： 172.21.32.21 nna 172.21.32.6 nns 172.21.32.40 dn1 编辑完成后保存退出，在另外两台服务器上做相同操作。 三.安装SSH 生成该节点的私钥和公钥，将生成的公钥(id_rsa.pub)文件中的内容追加到autho...
hadoop 2.9.2 完全分布式搭建
QQ_1993445592的博客
09-24 568
博主学习网站 https://bigdataboy.cn/ 0x00 相关配置版本 hadoop ：hadoop 2.9.2 提取码：qtf9 jdk : jdk1.8.0_221 提取码：yjwt centOS : 7.0 提取码：paty 三台虚拟机 虚拟机 ip 192.168.5.133–>master 虚拟机 ip 192.168.5.134–&g...
winutils和hadoop-eclipse-plugin-2.9.2插件
04-22
各版本的winutils是eclipse运行hadoop需要使用的，压缩包中还附上了hadoop-eclipse-plugin-2.9.2.jar插件，一定配合eclipse Photon（4.8）版本使用，亲测可用。
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server03 datanode nodemanager zookeeper journal node
parquet-hadoop-1.10.1-API文档-中英对照版.zip
04-07
赠送jar包：parquet-hadoop-1.10.1.jar 赠送原API文档：parquet-hadoop-1.10.1-javadoc.jar 赠送源代码：parquet-hadoop-1.10.1-sources.jar 包含翻译后的API文档：parquet-hadoop-1.10.1-javadoc-API文档-中文(简体)-英语-对照版.zip 对应Maven信息：groupId：org.apache.parquet，artifactId：parquet-hadoop，version：1.10.1 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。 双语对照，边学技术、边学英语。
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。 Hadoop 采用 MapReduce 分布式计算框架，根据 GFS 原理开发...
hadoop-eclipse-plugin-2.9.2
12-20
适用于Eclipse IDE（4.10.0）版本+jdk1.8版本，这个真的跟eclipse本身有关，我自己编译打的包，本来用在eclipse mars2上，结果一直不显示，没办法，只能重新下载eclipse然后放到dropins目录下就显示了
2.微服务技术
最新发布
qq_36352889的博客
04-19 516
微服务技术对比：
【电力大数据服务平台】项目可行性研究报告概述
【CSDN】
04-16 1010
六是数据安全，可实现不同业务、不同人员数据的逻辑隔离，确保数据的授权访问；电力大数据服务平台项目可行性研究报告写作的重点将放在政策可行性（前提：项目的建设必须满足项目建设地的相关规划政策）、市场可行性（基础：没有市场前景的产品/服务，就没有的价值）、技术可行性（先决条件：项目产品技术或工艺能够满足生产的需求）和财务可行性。电力大数据云平台定位为数据共享平台、数据分析应用平台、大数据应用开发运行平台，从数据采集、存储、预处理、计算、分析、可视化等多个层面为数据分析人员、大数据应用开发人员提供服务。
Spark集群的搭建
qq_74137843的博客
04-18 828
（2）配置Workers文件。复制Workers.template文件并重命名为Workers，打开Workers文件删除原有内容，并添加如下代码，每一行代表一个子节点的主机名，这里的workers文件名为，slaves.template。（3）进入Spark的/conf目录下，复制spark-env.sh.template文件并重命名为spark-env.sh。(7)通过命令jps查看进程，开启Spark集群后，master节点增加了Master进程，而子节点则增加了Worker进程。
hadoop-3.3.3完全分布式集群搭建
09-10
为了搭建hadoop-3.3.3的完全分布式集群，需要完成以下步骤： 1. 确保环境准备：安装JDK 1.8、hadoop 3.3.3和CentOS 7操作系统。 2. 配置JDK环境变量：解压JDK，并修改/etc/profile文件，添加JDK的路径到环境变量中。 3. 搭建hadoop集群：关闭防火墙，修改主机名，添加IP映射，配置免密登录。 4. 修改hadoop配置文件：解压hadoop，配置hadoop环境变量，修改hadoop的配置文件，包括hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml和workers。 5. 分发文件：将配置好的hadoop文件分发到集群中的所有节点。 6. 格式化namenode：使用hadoop命令行工具格式化namenode。 7. 启动Hadoop集群并测试：启动hadoop集群，可以通过查看进程、访问web界面和运行官方案例WordCount来测试集群的运行情况。 通过以上步骤，就可以成功搭建hadoop-3.3.3的完全分布式集群。请根据实际需求和操作系统进行相应的调整和配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值