Hadoop2.6.2完全分布式集群HA模式安装配置详解

最新推荐文章于 2024-09-18 10:39:18 发布
最新推荐文章于 2024-09-18 10:39:18 发布
阅读量7.4k 收藏 6
点赞数 4
分类专栏： Hadoop 文章标签： hadoop 分布式 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ltliyue/article/details/51144381
版权

一、机器配置清单(8节点)

  1. hadoop100
    节点：NameNode、DFSZKFailoverController(ZKFC)
  2. hadoop101
    节点：NameNode、DFSZKFailoverController(ZKFC)
  3. hadoop102:
    节点：ResourceManager
  4. hadoop103:
    节点：ResourceManager
  5. hadoop104:
    节点：DataNode、NodeManager、JournalNode、QuorumPeerMain、ZooKeeper
  6. hadoop105:
    节点：DataNode、NodeManager、JournalNode、QuorumPeerMain、ZooKeeper
  7. hadoop106:
    节点：DataNode、NodeManager、JournalNode、QuorumPeerMain、ZooKeeper
  8. hadoop107:
    节点：DataNode、NodeManager

二、解压安装配置相关软件

  1. JAVA_HOME=/usr/java/jdk1.7.0_71
    （配置环境变量略过，请自行搜索）

  2. HADOOP_HOME=/hadoop/hadoop-2.6.2

三、修改hosts配置文件

vim /etc/hosts

#添加相应是机器ip和主机名
10.x.xx.80  hadoop100
10.x.xx.81  hadoop101
10.x.xx.82  hadoop102
10.x.xx.83  hadoop103
10.x.xx.84  hadoop104
10.x.xx.85  hadoop105
10.x.xx.86  hadoop106
10.x.xx.87  hadoop107

#关闭防火墙
service iptables stop

#新建用户hadoop密码hadoop
useradd hadoop
passwd hadoop

四、在hadoop104、hadoop105、hadoop106安装Zookeeper

  1. 安装目录：
    /hadoop/zookeeper-3.4.6/

  2. 修改配置：

    cd /hadoop/zookeeper-3.4.6/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg


#-----

修改以下内容
dataDir=/hadoop/zookeeper-3.4.6/tmp

在最后添加：
server.1=hadoop104:2888:3888
server.2=hadoop105:2888:3888
server.3=hadoop106:2888:3888
保存退出

#-----



#然后创建一个tmp文件夹

mkdir /hadoop/zookeeper-3.4.6/tmp

#再创建一个空文件

touch /hadoop/zookeeper-3.4.6/tmp/myid


#最后向该文件写入ID，填入myid文件里

hadoop104机器：
echo 1 > /hadoop/zookeeper-3.4.6/tmp/myid
hadoop105机器：
echo 2 > /hadoop/zookeeper-3.4.6/tmp/myid
hadoop106机器：
echo 3 > /hadoop/zookeeper-3.4.6/tmp/myid

五、配置Hadoop（cd /hadoop/hadoop-2.6.2/etc/hadoop/）

1.vim hadoop-env.sh
JAVA_HOME=/usr/java/jdk1.7.0_71
2.vim core-site.xml
<configuration>

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cluster1</value>
    </property>
    【这里的值指的是默认的HDFS路径。当有多个HDFS集群同时工作时，集群名称在这里指定！该值来自于hdfs-site.xml中的配置】

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/hadoop-2.6.2/tmp</value>
    </property>
    【这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】

    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop104:2181,hadoop105:2181,hadoop106:2181</value>
    </property>
    【这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点】

</configuration>
3.vim hdfs-site.xml
<configuration>

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    【指定DataNode存储block的副本数量。默认值是3个，我们现在有4个DataNode，该值不大于4即可。】

    <property>
        <name>dfs.nameservices</name>
        <value>cluster1</value>
    </property>
    【使用federation时，HDFS集群别名。名字可以随便起，多个集群时相互不重复即可】

    <property>
        <name>dfs.ha.namenodes.cluster1</name>
        <value>hadoop100,hadoop101</value>
    </property>
    【指定该集群的namenode的机器】

    <property>
        <name>dfs.namenode.rpc-address.cluster1.hadoop100</name>
        <value>hadoop100:9000</value>
    </property>
    【指定hadoop100的RPC地址】
    <property>
        <name>dfs.namenode.http-address.cluster1.hadoop100</name>
        <value>hadoop100:50070</value>
    </property>
    【指定hadoop100的http地址】

    <property>
        <name>dfs.namenode.rpc-address.cluster1.hadoop101</name>
        <value>hadoop101:9000</value>
    </property>
    【指定hadoop101的RPC地址】

    <property>
        <name>dfs.namenode.http-address.cluster1.hadoop101</name>
        <value>hadoop101:50070</value>
    </property>
    【指定hadoop101的http地址】

    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop104:8485;hadoop105:8485;hadoop106:8485/cluster1
        </value>
    </property>
    【指定该集群的两个NameNode共享edits文件目录时，使用的JournalNode集群信息】

    <property>
        <name>dfs.ha.automatic-failover.enabled.cluster1</name>
        <value>true</value>
    </property>
    【指定该集群是否启动自动故障恢复，即当NameNode出故障时，是否自动切换到另一台NameNode】

    <property>
        <name>dfs.client.failover.proxy.provider.cluster1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
        </value>
    </property>
    【指定该集群出故障时，哪个实现类负责执行故障切换】

    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    【一旦需要NameNode切换，使用ssh方式进行操作】

    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/hadoop/.ssh/id_rsa</value>
    </property>
    【如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置】

    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
    【connect-timeout连接超时】

</configuration>
4.vim mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    【指定运行mapreduce的环境是yarn，与hadoop1截然不同的地方】
</configuration>
5.vim yarn-site.xml

<configuration>

    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    【启动HA高可用性】

    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    【指定resourcemanager的名字】

    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    【使用了2个resourcemanager,分别指定Resourcemanager的地址】

    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value> hadoop102</value>
    </property>
    【自定ResourceManager1的地址】

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value> hadoop103</value>
    </property>
    【自定ResourceManager2的地址】

    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop104:2181,hadoop105:2181,hadoop106:2181</value>
    </property>
    【制定Zookeeper机器】
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    【默认】
</configuration>
6.vim slave (hadoop100、hadoop101、hadoop102、hadoop103机器填写)
hadoop104
hadoop105
hadoop106
hadoop107

六、启动过程

1.启动zookeeper集群（在主机名hadoop104、hadoop105、hadoop106上启动）

./zkServer.sh start

#查看状态：一个leader，两个follower

./zkServer.sh status

2.启动journalnode（分别在在主机名（ip）04、主机名（ip）05、主机名（ip）06上执行）

sbin/hadoop-daemon.sh start journalnode

#验证
jps
#显示JouralNode + QuorumpeerMain

3.格式化namenode（hadoop100）

hdfs namenode -format

4.格式化ZKFC(在hadoop100上执行)

hdfs zkfc -formatZK

5.NameNode从hadoop100同步到hadoop101

1.在hadoop101执行
hdfs namenode bootstrapstandby

#验证
tmp下生成dfs

2.如果1失败（在hadoop100执行）
ssh-keygen -f "~/.ssh/known_hosts" -R hadoop101

#验证
tmp下生成dfs

6.启动NameNode和DataNode

start-dfs.sh

#验证
jps

7.启动yarn（在hadoop102执行）

start-yarn.sh

#验证：
jps

#显示ResourceManager + NodeManager

8.启动ZookeeperFailoverController（hadoop100和101执行）

hadoop-daemon.sh start zkfc

#验证
jps

#显示DFSZKFailoverController

七、完工~

  • 打开浏览器查看hadoop100（namenode显示active）

这里写图片描述

  • 查看hadoop101（namenode显示standby）

这里写图片描述

  • 查看各个datanode节点

这里写图片描述

  • 工作正常，上传个文件试试吧~
Apache Hadoop2.6.2 小集群搭建
技术大神之路
03-31 924
1. 拓扑结构图4台机器，搭建图如下 1,2,3,4 分别记做 Hagrid01，Hagrid02，Hagrid03，Hagrid04 NN指的是 Namenode JN指的是JournalNode DN指的是DataNode 生产环境下，Active NN 和 Standby NN 都应该单独占用一台机器，这里为了节省资源，StandbyNN上也做了 JN 和 DN 2. 对每台机器
Spark在分布式环境中的安装
weixin_43874447的博客
12-04 727
文章目录Spark在分布式环境中的安装1.安装 scala1.1上传1.2解压1.3重命名1.4添加环境变量1.5配置文件生效1.6验证2.安装Spark2.1上传2.2重命名2.3添加环境变量2.4环境变量生效2.5修改配置文件2.6启动并体验2.6.1 启动2.6.2 停止3.Spark HA的环境安装3.1修改配置文件3.2启动HA集群3.3HA集群的验证3.3HA集群的验证 Spark在...
hadoop-2.6.2.tar.gz
03-06
hadoop2.6.2源码tar包资源
Hadoop2.61集群安装配置教程
yaooch的专栏
06-05 493
前言 当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有Hadoop安装配置教程，但由于对Linux环境不熟悉，书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。 本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括H
【大数据】深入了解Hadoop
最新发布
m0_46181896的博客
09-18 7589
hdfs的元数据两个部分内存上的元数据在服务运行期间,所有的元数据会先存储在内存上文件信息,datanode信息,块信息元数据文件为了避免内存上的元数据丢失,会将内存的上的元数据保存在磁盘上secondarynamenode完成元数据文件的保存存储位置在hadoop的指定数据edits_xxxxx 编辑日志文件,记录所有的文件操作信息fsimage_xxxxx 镜像文件,保存了元数据内容 文件和块内容datanode会汇报自身状态给NameNode,默认是3秒。
Hadoop HA集群配置
Z_Data的博客
11-08 648
目录   一、 基础配置 创建7台机器，设置静态ip分别如下： 2、 hadoop配置 集群规划 安装步骤 1、安装配置zooekeeper集群（在ha5上）（更详细zookeeper安装步骤参见zookeeper安装） 2、安装配置hadoop集群（在ha1上操作） 2.1解压 2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hado...
hadoop完全分布式搭建HA（高可用）
热门推荐
weixin_41407399的博客
03-25 1万+
首先创建5台虚拟机（最少三台），并且做好部署规划ip地址 主机名 安装软件 进程 192.168.xx.120 master jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192.168.xx.121 master2 jdk,hadoop,zookeeper namenode,ZKFC,Resourcemanager 192...
Hadoop-2.6.2集群配置安装
weixin_34293911的博客
11-18 211
Hadoop-2.6.2集群安装 Hadoop-262集群安装 环境说明 基础环境搭建 CentOS 7安装 新建用户hadoop 配置hosts 关闭防火墙 安装jdk180_40 ssh配置 安装配置hadoop-262 hadoop环境变量 hadoop参...
Hadoop2.6.2、Hbase1.1.2 HA
12-23
在IT行业中，分布式存储和计算框架是大数据处理的关键技术，Hadoop 2.6.2、HBase 1.1.2以及Hive 1.2.1是这些领域的核心组件，它们共同构建了一个高可用性（HA）的生态系统。这里我们将深入探讨这三个组件以及它们在...
hadoop 2.6.0 安装包
06-30
- **Ambari**：一个Web界面，用于Hadoop集群的安装、配置、管理和监控。 - **Ganglia**或**Nagios**：监控系统，监控集群的CPU、内存、磁盘和网络等资源使用情况。 7. **安全性与认证** - **Kerberos**：实现...
Hadoop3.0 + JDK1.8.1+Hadoop-win运行包2.6.0--3.0.0
03-25
安装和配置过程中需要注意环境变量的设置，确保Hadoop和Java的路径正确，同时也需要配置Hadoop的相关配置文件，如`core-site.xml`、`hdfs-site.xml`等，以便于HDFS的正常运行和数据存储。最后，通过编写MapReduce...
hadoop集群配置HA
科小勒的博客
12-25 240
配置HA，基于Zookeeper配置完成 配置NameNode 一 准备工作 1.把所有的服务给停掉 2.清理/tmp下所有的内容 3.删除hadoop中的data和logs 4.一定要保证各节点之间可以使用ssh无密登录 二 手动故障转移 5.配置core-site.xml <!--指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdf
配置Hadoop-HA集群
子清的博客
09-08 170
1.环境准备 修改IP地址与hostname 部署zookeeper:《zookeeper的安装与配置》 部署hadoop：《搭建hadoop集群》 设置时区同步：《Linux时间同步》 2.修改配置文件 2.1修改core-site.xml <configuration> <!--指定hdfs的nameserve为ns--> <property> <name>fs.defaultFS</name> <value>hdfs:/
Hadoop HA集群配置及使用
DaiSnow的博客
07-07 1129
在2.x版本中Hadoop HA 一台配置为Active Namenode，对外提供服务 若干台配置为：Standby Namenode，待机状态 集群规划 机器名 hadoop2 hadoop3 hadoop4 namenode nn1 nn2 resourcemanager rm1 rm2 HDFS NameNode DataNode Journalnode NameNode DataNode Journalnode DataNode Journalnode YARN
hadoop高可用HA集群配置
Joie_TJ的博客
09-10 259
hadoop HA模式搭建一 、 搭建集群二 、修改配置文件三 、启动集群四 、测试集群是否部署成功 一 、 搭建集群 Hadoop HA模式搭建前需要完成hadoop集群配置、时区同步设置和zookeeper安装配置 二 、修改配置文件 修改core-site.xml文件 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://ns</
hadoop2.6.0集群HA搭建
Jor_rosen的技术博客
09-29 443
环境配置： 4台虚拟机centOS 6.6   NN DN ZK ZKFC JN node1 1 1 1 node2 1 1 1 1 1 node3 1 1 1 node4 1 1 NN：namenode DN：datanode
hadoop——HA集群部署
m0_65809235的博客
06-28 1309
各节点布置NameNodeDataNodeNameNodeDataNode。
Hadoop集群搭建与配置
2203_75921162的博客
04-27 1170
一、Hadoop是什么？二、Hadoop集群的搭建和配置1、安装方式2、设置静态IP3、远程连接虚拟机4、防火墙5、设置主机名6、设置主机名与IP的映射7、安装JAVA8、安装Hadoop大数据时代下，针对大数据处理的新技术也在不断地开发和运用中，并逐渐成为数据处理挖掘行业广泛使用的主流技术之一。在大数据时代，Hadoop作为处理大数据的分布式存储和计算框架，在国内外大、中、小型企业中已得到了广泛应用。学习Hadoop技术是从事大数据行业工作必不可少的一步。
Hadoop-2.6.0学习笔记（一）HA集群搭建
weixin_33743248的博客
07-08 113
鲁春利的工作笔记，好记性不如烂笔头hadoop环境分主要分为单机、伪分布式以及集群，这里主要记录集群环境的搭建。环境配置1、下载Hadoop从http://hadoop.apache.org/下载hadoop安装文件2、解压tar包[hadoop@nnodelucl]$tar-xzv-fhadoop-2.6.0.tar.gz3、配置Hadoop环境变量[hadoo...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值