大数据学习系列3-Centos6.7下搭建hadoop-2.6.5 ha集群

最新推荐文章于 2021-03-21 13:48:59 发布
最新推荐文章于 2021-03-21 13:48:59 发布
阅读量247 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wademylove/article/details/81905276
版权

前期准备，可以参考上一篇

大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群

https://blog.csdn.net/wademylove/article/details/81943946

1.修改Linux主机名

2.修改IP

3.修改主机名和IP的映射关系 /etc/hosts

######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）

/etc/hosts里面要配置的是内网IP地址和主机名的映射关系

4.关闭防火墙

5.ssh免登陆

6.安装JDK，配置环境变量等

 

集群规划：

主机名          IP                     安装的软件                            运行的进程

mini1           192.168.33.61   jdk、hadoop                         NameNode、DFSZKFailoverController(zkfc)

mini2           192.168.33.62   jdk、hadoop                         NameNode、DFSZKFailoverController(zkfc)

mini3           192.168.33.63   jdk、hadoop                         ResourceManager

mini4           192.168.33.64   jdk、hadoop                         ResourceManager

mini5           192.168.33.65   jdk、hadoop、zookeeper    DataNode、NodeManager、JournalNode、QuorumPeerMain

mini6           192.168.33.66   jdk、hadoop、zookeeper    DataNode、NodeManager、JournalNode、QuorumPeerMain

mini7           192.168.33.67   jdk、hadoop、zookeeper    DataNode、NodeManager、JournalNode、QuorumPeerMain

安装步骤：

1.安装配置zooekeeper集群（在mini5/mini6/mini7上）

参考前面的大数据学习系列1-Centos6.7下zookeeper-3.4.12集群安装部署

https://blog.csdn.net/wademylove/article/details/80997946

2.安装配置hadoop集群（在mini1上操作）

2.1解压

tar -zxvf hadoop-2.6.5.tar.gz -C /home/hadoop/apps/

2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）

#将hadoop添加到环境变量中

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_45

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下

cd /home/hadoop/apps/hadoop-2.6.5/etc/hadoop

2.2.1修改hadoo-env.sh

export JAVA_HOME=/usr/local/jdk1.7.0_45

 

###############################################################################

2.2.2修改core-site.xml

<configuration>

<!-- 指定hdfs的nameservice为ns -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://ns/</value>

</property>

<!-- 指定hadoop临时目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/apps/hdpdata/</value>

</property>

 

<!-- 指定zookeeper地址 -->

<property>

<name>ha.zookeeper.quorum</name>

<value>mini5:2181,mini6:2181,mini7:2181</value>

</property>

</configuration>

 

###############################################################################

2.2.3修改hdfs-site.xml

<configuration>

<!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->

<property>

<name>dfs.nameservices</name>

<value>ns</value>

</property>

<!-- bi下面有两个NameNode，分别是nn1，nn2 -->

<property>

<name>dfs.ha.namenodes.ns</name>

<value>nn1,nn2</value>

</property>

<!-- nn1的RPC通信地址 -->

<property>

<name>dfs.namenode.rpc-address.ns.nn1</name>

<value>mini1:9000</value>

</property>

<!-- nn1的http通信地址 -->

<property>

<name>dfs.namenode.http-address.ns.nn1</name>

<value>mini1:50070</value>

</property>

<!-- nn2的RPC通信地址 -->

<property>

<name>dfs.namenode.rpc-address.ns.nn2</name>

<value>mini2:9000</value>

</property>

<!-- nn2的http通信地址 -->

<property>

<name>dfs.namenode.http-address.ns.nn2</name>

<value>mini2:50070</value>

</property>

<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://mini5:8485;mini6:8485;mini7:8485/ns</value>

</property>

<!-- 指定JournalNode在本地磁盘存放数据的位置 -->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/hadoop/journaldata</value>

</property>

<!-- 开启NameNode失败自动切换 -->

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<!-- 配置失败自动切换实现方式 -->

<property>

<name>dfs.client.failover.proxy.provider.ns</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->

<property>

<name>dfs.ha.fencing.methods</name>

<value>

sshfence

shell(/bin/true)

</value>

</property>

<!-- 使用sshfence隔离机制时需要ssh免登陆 -->

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

</property>

<!-- 配置sshfence隔离机制超时时间 -->

<property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

<value>30000</value>

</property>

</configuration>

 

###############################################################################

2.2.4修改mapred-site.xml

<configuration>

<!-- 指定mr框架为yarn方式 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

###############################################################################

2.2.5修改yarn-site.xml

<configuration>

<!-- 开启RM高可用 -->

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<!-- 指定RM的cluster id -->

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>yrc</value>

</property>

<!-- 指定RM的名字 -->

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>rm1,rm2</value>

</property>

<!-- 分别指定RM的地址 -->

<property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>mini3</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>mini4</value>

</property>

<!-- 指定zk集群地址 -->

<property>

<name>yarn.resourcemanager.zk-address</name>

<value>mini5:2181,mini6:2181,mini7:2181</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

2.2.6修改slaves(slaves是指定子节点的位置，因为要在mini1上启动HDFS、在mini3启动yarn，所以mini1上的slaves文件指定的是datanode的位置，mini3上的slaves文件指定的是nodemanager的位置)

mini5

mini6

mini7

 

2.2.7配置免密码登陆

#首先要配置mini1到mini2、mini3、mini4、mini5、mini6、mini7的免密码登陆

#在mini1上生产一对钥匙

ssh-keygen -t rsa

#将公钥拷贝到其他节点，包括自己

ssh-coyp-id mini1

ssh-coyp-id mini2

ssh-coyp-id mini3

ssh-coyp-id mini4

ssh-coyp-id mini5

ssh-coyp-id mini6

ssh-coyp-id mini7

#配置mini3到mini4、mini5、mini6、mini7的免密码登陆

#在mini3上生产一对钥匙

ssh-keygen -t rsa

#将公钥拷贝到其他节点

ssh-coyp-id mini4

ssh-coyp-id mini5

ssh-coyp-id mini6

ssh-coyp-id mini7

#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置mini1到mini2的免登陆

在mini2上生产一对钥匙

ssh-keygen -t rsa

ssh-coyp-id -i mini1

2.4将配置好的hadoop拷贝到其他节点

scp -r /home/hadoop/hadoop-2.6.5/ mini2:/$PWD

scp -r /home/hadoop/hadoop-2.6.5/ mini3:/$PWD

scp -r /home/hadoop/hadoop-2.6.5/ mini4:/$PWD

scp -r /home/hadoop/hadoop-2.6.5/ mini5:/$PWD

scp -r /home/hadoop/hadoop-2.6.5/ mini6:/$PWD

scp -r /home/hadoop/hadoop-2.6.5/ mini7:/$PWD

###注意：严格按照下面的步骤!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

2.5启动zookeeper集群（分别在mini5、mini6、mini7上启动zk）

cd /hadoop/apps/zookeeper-3.4.12/bin/

./zkServer.sh start

#查看状态：一个leader，两个follower

./zkServer.sh status

2.6启动journalnode（分别在在mini5、mini6、mini7上执行）

cd /hadoop/apps/hadoop-2.6.5

sbin/hadoop-daemon.sh start journalnode

#运行jps命令检验，mini5、mini6、mini7上多了JournalNode进程

2.7格式化HDFS

#在mini1上执行命令:

hdfs namenode -format

#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/hadoop/apps/hdpdata，然后将/home/hadoop/apps/hdpdata拷贝到mini2的/hadoop/apps/下。

scp -r hdpdata/ mini2:/home/hadoop/apps/

##也可以这样，建议hdfs namenode -bootstrapStandby

2.8格式化ZKFC(在mini1上执行一次即可)

hdfs zkfc -formatZK

2.9启动HDFS(在mini1上执行)

sbin/start-dfs.sh

 

2.10启动YARN(#####注意#####：是在mini3上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

sbin/start-yarn.sh

 

到此，hadoop-2.6.5配置完毕，可以统计浏览器访问:

http://mini1:50070

NameNode 'mini1:9000' (active)

http://mini2:50070

NameNode 'mini2:9000' (standby)

 

验证HDFS HA

首先向hdfs上传一个文件

hadoop fs -put /etc/profile /profile

hadoop fs -ls /

然后再kill掉active的NameNode

kill -9 <pid of NN>

通过浏览器访问：http://mini2:50070

NameNode 'mini2:9000' (active)

这个时候mini2上的NameNode变成了active

在执行命令：

hadoop fs -ls /

-rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile

刚才上传的文件依然存在！！！

手动启动那个挂掉的NameNode

sbin/hadoop-daemon.sh start namenode

通过浏览器访问：http://mini1:50070

NameNode 'mini1:9000' (standby)

OK，完成！！！

qingwax-bk
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
Hadoop2.6.5搭建HA（高可用）
andyguan01_2的博客
03-20 1449
一、环境 操作系统：CentOS6.9 软件版本：Hadoop2.6.5，Zookeeper3.4.13 集群架构： 我手上有3台服务器，一台作为主NameNode，一台作为备NameNode和DataNode1，剩下一台作为DataNode2。也就是在3台服务器上面部署一主一备NameNode+两个DataNode。另外，由于JournalNode和ZK都至少为3个，且为奇数个，在3台服务器上面...
Hadoop（二）CentOS7.5搭建Hadoop2.7.6完全分布式集群
dengshuabi6933的博客
05-16 208
一 完全分布式集群(单点） Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙，设置静态IP，主机名此处略，参考Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的hos...
CentOS6.5搭建hadoop完全分布式集群
长安一片月的博客
05-29 1418
搭建完全分布式集群-------------------------------前提条件：已经按照之前的步骤搭建完伪分布式。https://blog.csdn.net/weixin_42006411/article/details/80500217搭建hadoop伪分布式链接：点击打开链接方法：克隆虚拟机。  1.修改静态ip    a.删除之前的mac地址，记录现在的mac地址，并修改name为...
Centos7 搭建hadoop2.6 HA
weixin_30248399的博客
07-18 84
用户配置： User :root Password:toor 2.创建新用户 student Pwd: student 3．安装virtualbox的增强工具软件 4.系统默认安装的是openjdk 1.7.0.5 没有jps等工具可以使用。 但hadoop应该是可以在openjdk中使用的。 卸载openjdk，下载安装oracle jdk. for i in $(rp...
大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群
wademylove的博客
08-28 567
集群规划 主机          IP                            安装的软件                   运行的进程 mini1        192.168.33.61         jdk、hadoop                 NameNode、ResourceManager、SecondaryNameNode mini2        19...
hadoop-2.7.4-with-centos-6.7.tar.gz
08-07
在标题中提到的“hadoop-2.7.4-with-centos-6.7.tar.gz”是一个在CentOS 6.7操作系统环境下编译好的Hadoop 2.7.4版本的压缩包。CentOS 6.7是一款基于Linux的服务器操作系统，因其稳定性而被广泛用于部署各种服务，...
基于centos的大数据hadoop集群搭建说明文档
最新发布
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
centos6.8搭建hadoop集群
01-07
1.准备一台干净的centos6.8虚拟机 2.关闭防火墙 1.临时关闭防火墙 service iptables stop 2.关闭防火墙自启动 chkconfig iptables off 3.查看防火墙状态 service iptables status 3.设置静态ip vim /etc/...
hadoop-2.7.7-centos-6.7.tar.gz
08-08
"hadoop-2.7.7-centos-6.7.tar.gz"这个压缩包提供了在CentOS 6.7上部署Hadoop 2.7.7的全套资源，使用者可以通过一系列配置和操作步骤，建立起一个运行在Linux环境下的分布式大数据处理系统，开启大数据探索之旅。...
hadoop完全分布式搭建(CentOS 6.5)
goldlone的博客
08-29 556
hadoop完全分布式搭建(CentOS 6.5) 1. 关闭防火墙 2. 修改hostname 3. 修改网络映射hosts 4. 配置免密登录 5. 准备软件环境 6. 配置环境变量 7. 修改hadoop配置文件 7.1 hadoop-env.sh 和 yarn-env.sh 7.2 core-site.xml 7.3 hdfs-site.xml 7.4 mapred-site.xml ...
Hadoop2.6.5 HA完全分布式搭建
lanhuyuedui2012的专栏
07-26 1299
一、准备工作 虚拟机器：vmware workstation 14 Linux系统：Centos 6.4 JDK版本：jdk-8u161-linux-x64.tar.gz Hadoop版本：hadoop-2.6.5.tar.gz 二、基本配置 1、系统安装（略），在/usr/local目录下建立 soft文件夹（存放下载的软件），Java（jdk）,hadoop（hadoop文件） ...
Hadoop使用笔记二 -- hadoop2.6.3配置并启动
青松
05-17 110
虚拟机的密码都是root/lijian 虚拟机以4台linux的主机 在你的hosts加入各台虚拟机 [code="java"]192.168.8.129 CentOS1 192.168.8.131 CentOS2 192.168.8.130 CentOS3 192.168.8.132 CentOS4 [/code] [img]http://dl2.iteye.co...
基于Hadoop2.6.5单机搭建HDFS(伪分布式模式)
xiaobaiwupen的博客
01-25 415
模式官方文档 目录 1、前置准备 1.1 环境说明 1.2 网络配置 1.3 主机名及IP映射 1.4 关闭防火墙 1.5 安装JDK 1.6 配置SSH免密登录本机 2、Hadoop搭建 2.1 上传解压 2.2 添加环境变量 2.3 修改Hadoop配置 3、初始化启动 3.1 初始化NameNode 3.2 启动 3.3 验证结果 1.1 环境说明 操作系统：CentOS 8Windows下搭建虚拟机 Hadoop版本：2.6.5官网下载 JDK版本：1..
（vmware）centos6.5+hadoop2.6.0环境安装及部署
Jewel’s blog
04-15 270
记录熬了一个3：00的夜+一下午整理出来的步骤！！！ 详情百度网盘下载：https://pan.baidu.com/s/1nPhBGI9WGWuvAF4STH4l1g 提取码：konl
超详细Hadoop HA高可用集群搭建及常见问题处理
热门推荐
香宝的私房小厨
06-19 3万+
最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。 1 , 前期准备 1.0 , 准备Linux环境。 安装vmware linux虚拟机，因为Centos 7 和Centos 6版本部分命令差别还挺多了，所以我本次用的Centos 6版本，用什么你随意，高兴就...
Hadoop全分布搭建
曹利荣的博客
04-08 498
以下步骤，除非特别说明，否则在四台机器上都要单独执行一次。 1、架构角色分配 Linux001: DataNode、NodeManager Linux002: DataNode、NodeManager Linux003: DataNode、NodeManager Linux004: NameNode、SecondaryNameNode、ResourceManager 2、配置好网络，关闭i...
hadoop伪分布式集群搭建
雷恩Layne
03-21 1341
本文步骤较多，请细心查看。 基础设施 基础设施环境如下： jdk 1.7+（提前设置好环境变量） ssh自己和自己之间进行免密登陆，如在layne1上执行ssh layne1 时间同步 设置本机ip 设置主机名 可参考Linux切换运行级别、关闭防火墙、禁用selinux、关闭sshd、时间同步、修改时区、拍摄快照、克隆操作、修改语言环境。 另外，不得不提Linux系统远程执行和远程登陆的区别： 远程执行：不需要用户交互，而是用户直接给出一个命令，直接在远程执行，不会加载 /etc/profile.
菜鸟的大数据学习之路（1）CentOS 6.5安装
x1303749491的博客
06-17 930
作为刚踏入大数据不久的菜鸟，希望别的刚入门的程序员，能少走点弯路。希望能给你们带来一些帮助。 因为VMware工具的安装相对简单，这里就不详细介绍了，下面进入正题！ 1.点击左上角：文件 --&gt; 新建虚拟机 没放的图片，就是选推荐就行。 点击这里，设置刚才没有添加的映像文件。 将映像文件放入，百度云里有。点击确定，开启虚拟机！ ...
Ubuntu/Centos搭建Hadoop大数据集群实战指南
在本次实验中，我们主要关注的是如何在Linux环境下搭建一个基于Hadoop的大数据集群。实验涵盖了多个关键步骤，包括虚拟机的准备、Hadoop相关工具的安装、集群配置以及启动验证。以下是详细的知识点说明： 1. **...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值