hadoop2.4.1+hbase1.3.3+zookeeper3.4.13高可用集群

最新推荐文章于 2021-07-16 16:36:41 发布
最新推荐文章于 2021-07-16 16:36:41 发布
阅读量192 收藏
点赞数 1
分类专栏： hbase hadoop 文章标签： hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44799695/article/details/88994055
版权

环境

操作系统：rhel6.5
软件版本：hadoop2.4.1,hbase1.3.3,zookeeper3.4.13,jdk1.7

 主机名       IP地址                                角色
master1192.168.80.182NameNode,RegionServer,Hmaster,Zookeeper,ResourceManager
master2192.168.80.183NameNode,RegionServer,HmasterZookeeper,ResourceManager

slave1

192.168.80.184DataNode,RegionServer,Zookeeper,NodeManager
slave2192.168.80.185DataNode,RegionServer,Zookeeper,NodeManager
slave3192.168.80.186DataNode,RegionServer,Zookeeper,NodeManager

步骤

 1.关闭防火墙

service iptables stop
chkconfig iptables off
vi /etc/selinux/config
SELINUX=disabled

2.时钟同步
date -s xxxx-xx-xx
date -s xx:xx:xx

3.安装jdk/hadoop/zookeeper/hbase
cd /tmp
tar -zxvf jdk-7u80-linux-x64.tar.gz
tar -zxvf hadoop-2.4.1.tar.gz
tar -zxvf hbase-1.3.3-bin.tar.gz
tar -zxvf zookeeper-3.4.13.tar.gz
mkdir /usr/local/hadoop
mkdir /usr/local/hbase
mkdir /usr/local/zookeeper
mkdir /usr/local/java
cp -r /tmp/jdk1.7.0_80/* /usr/local/java
cp -r /tmp/hadoop-2.4.1/* /usr/local/hadoop
cp -r /tmp/hbase-1.3.3/* /usr/local/hbase
cp -r /tmp/zookeeper-3.4.13/* /usr/local/zookeeper

4.创建hadoop用户,配置环境变量
useradd hadoop
passwd hadoop
su - hadoop
vi ~/.bash_profile

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH


5.ssh互信
所有节点执行：
ssh-keygen -t rsa  
master1下执行：

    ssh master1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    ssh master2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    ssh slave1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    ssh slave2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    ssh slave3 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    scp ~/.ssh/authorized_keys master2:~/.ssh/
    scp ~/.ssh/authorized_keys slave1:~/.ssh/
    scp ~/.ssh/authorized_keys slave2:~/.ssh/
    scp ~/.ssh/authorized_keys slave3:~/.ssh/

所有节点执行：
chmod 600 ~/.ssh/authorized_keys
ssh master1
ssh master2
ssh slave1
ssh slave2
ssh slave3
注意：执行完一条命令后，不要忘记exit退出，再执行下一条


6.zookeeper配置

master1:
mkdir /usr/local/zookeeper/data
vi /usr/local/zookeeper/data/myid   (每个节点分别执行，第一台myid内容1，第二台为2，以此类推)
1，2，3，4，5
cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg
编辑zoo.cfg

 dataDir=/usr/local/zookeeper/data
 server.1=master1:2888:3888        
 server.2=master2:2888:3888        
 server.3=slave1:2888:3888        
 server.4=slave2:2888:3888
 server.5=slave3:2888:3888

把文件传到各节点
scp -r /usr/local/zookeeper root@master2:/usr/local/
scp -r /usr/local/zookeeper root@slave1:/usr/local/
scp -r /usr/local/zookeeper root@slave2:/usr/local/
scp -r /usr/local/zookeeper root@slave3:/usr/local/
切换到root用户下：
chown hadoop:hadoop /usr/local/zookeeper -R
各节点启动
zkServer.sh start

7.hadoop配置

master1:
编辑core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>master1:2181,master2:2181,slave1:2181,slave2:2181,slave3:2181</value>
</property>
<property>
<name>ipc.client.connect.max.retries</name>
<value>100</value>
</property>
<property>
<name>ipc.client.connect.retry.interval</name>
<value>10000</value>
</property>
</configuration>

编辑hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>master1,master2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.master1</name>
<value>master1:9000</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.master2</name>
<value>master2:9000</value>
 </property>
<property>
<name>dfs.namenode.http-address.ns1.master1</name>
<value>master1:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.master2</name>
<value>master2:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master1:8485;master2:8485;slave1:8485;slave2:8485;slave3:8485/ns1</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled.ns1</name>
<value>true</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/journalnode</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

编辑mapred-site.xml
cp mapred-site.xml.template mapred-site.xml 

 <configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
 </configuration>

编辑yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>highgo</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>master1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>master2</value>
</property>
<property>
<name>yarn.resourcemanager.ha.id</name>
<value>rm1</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master1:2181,master2:2181,slave1:2181,slave2:2181,slave3:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

编辑slaves

slave1
slave2
slave3

把目录传送到各节点
scp -r /usr/local/hadoop/* root@master2:/usr/local/hadoop    
(修改yarn-site.xml里的yarn.resourcemanager.ha.id为rm2)
scp -r /usr/local/hadoop/* root@slave1:/usr/local/hadoop    
（删除yarn.resourcemanager.ha.id）
scp -r /usr/local/hadoop/* root@slave2:/usr/local/hadoop    
（删除yarn.resourcemanager.ha.id）
scp -r /usr/local/hadoop/* root@slave3:/usr/local/hadoop    
（删除yarn.resourcemanager.ha.id）
切换到root用户下，修改各节点权限：
chown hadoop:hadoop /usr/local/hadoop -R

8.格式化
格式化之前保证zookeeper是启动的，即各节点zkServer.sh start

hadoop-daemon.sh start journalnode(所有节点执行)
hdfs zkfc -formatZK （master1和master2主节点执行）
hdfs namenode -format（master1执行)
hadoop-daemon.sh start namenode    （master1执行）
hdfs namenode -bootstrapStandby （master2执行）
start-all.sh（master1执行）
yarn-daemon.sh start resourcemanager （master2执行）
hadoop-daemon.sh start zkfc （master1和master2执行）
hdfs haadmin -getServiceState master1  
hdfs haadmin -getServiceState master2
（master1或master2执行都可以，查看两个主节点状态）

9.hbase配置

master1:
编辑hbase-env.sh

export HBASE_PID_DIR=/usr/local/hbase/pids
export HBASE_MANAGES_ZK=false

编辑hbase-site.xml

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master1:9000/hbase</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://master1:60000</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master1:2181,master2:2181,slave1:2181,slave2:2181,slave3:2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/zookeeper</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
</configuration>

编辑regionservers

master1
master2
slave1
slave2
slave3

创建pids文件
mkdir /usr/local/hbase/pids

把目录传送到各节点
scp -r /usr/local/hbase root@master2:/usr/local/
scp -r /usr/local/hbase root@slave1:/usr/local/
scp -r /usr/local/hbase root@slave2:/usr/local/
scp -r /usr/local/hbase root@slave3:/usr/local/

root用户下，各节点修改权限：
chown hadoop:hadoop /usr/local/hadoop -R

10.建议启动顺序
zkServer.sh start（所有节点执行）
hadoop-daemon.sh start journalnode(所有节点执行)
start-all.sh（master1执行））
yarn-daemon.sh start resourcemanager （master2执行）
hadoop-daemon.sh start zkfc（master1和master2执行）
hdfs haadmin -getServiceState master1  （master1或master2执行，查看两个主节点状态）
hdfs haadmin -getServiceState master2
start-hbase.sh （master1执行）
hbase-daemon.sh start master（master2执行）

 启动后进程：

master1192.168.80.182NameNode,RegionServer,Hmaster,ResourceManager,QuorumPeerMain,JournalNode,DFSZKFailoverController
master2192.168.80.183NameNode,RegionServer,Hmaster,ResourceManager,QuorumPeerMain,JournalNode,DFSZKFailoverController

slave1

192.168.80.184DataNode,RegionServer,NodeManager,QuorumPeerMain,JournalNode
slave2192.168.80.185DataNode,RegionServer,NodeManager,QuorumPeerMain,JournalNode
slave3192.168.80.186DataNode,RegionServer,NodeManager,QuorumPeerMain,JournalNode
andy-2019
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop + ZK + HBase 环境搭建
weixin_34185364的博客
07-08 177
Hadoop 环境搭建 参考资料:  http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/ClusterSetup.html http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml htt...
Centos7环境下的HADOOP-3.0.1+HBASE-1.3.3+ZOOKEEPER-3.4.13完全分布式搭建参数
春分笑桃花的博客
04-13 419
对于环境变量的搭建 在centos7环境下配置环境变量是必不可少的，所以直接上干货： 1.删除原有的jdk 通过java -version查看当前的jdk版本，之后可以通过如下命令删除系统自带的jdk yum -y remove java* 2.安装新的jdk 下载最新的jdk，下载完成后在/home/node1/下载 （本人的目录如下）中找到jdk，通过如下命令移动到目标文件夹下（本人是/u...
hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境
weixin_33849215的博客
11-08 143
# 系统信息 3台系统： centos6.8内核：4 内存：4G 硬盘：50G #主机名称，ip地址 master: 192.168.1.110 slave1: 192.168.1.111 slave2: 192.168.1.112 ########################软件下载地址######################...
一、Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）—第一步：版本选择
嘻哈吼嘿呵的博客
08-02 279
1、服务器环境 主机名 Ip 用户名 密码 安装目录 master 192.168.199.131 root 123456 /usr/softwares slave1 ...
hadoop2.6.5+zookeeper3.4.10+hbase1.3.1分布式集群搭建
Crazy_cjran的博客
12-25 1024
一、配置环境1.三台虚拟机ubuntu16.04相关软件包1. jdk1.8.0_1122. hadoop2.6.53.zookeper3.4.104.hbase1.3.1注：此处采用了三台虚拟机，为方便维护，此处采取了相同的用户名，用户密码，相同的目录结构二、安装Java环境1.下载jdk1.8.0_112压缩包,解压（作者采用的解压路径为:/usr/lib/jvm/）2.配置/etc/prof...
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
最新发布
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
hadoop+hbase+zookeeper集群配置流程及文件
08-28
集群配置完成后，通常还需要进行一些验证操作，如检查Hadoop的`dfs健康报告`、HBase的`master状态`以及Zookeeper的`集群状态`。同时，定期进行维护，如监控日志、性能调优和故障排查，是保持集群稳定运行的关键。 ...
Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）
01-07
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。...Zookeeper (QuorumPeerMain)   NameNode Resource Manager   DFSZK Failover Controller
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
hadoop+zookeeper+hbase集群搭建配置说明
06-22
在大数据处理领域，Hadoop、Zookeeper和HBase是三个非常关键的组件，它们共同构建了一个高效、可扩展的数据仓库集群。以下是对这三个组件及其在集群搭建中的配置说明的详细阐述。 1. Hadoop：Hadoop是Apache软件...
hbase-1.3.1-src.tar.gz
09-16
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。是大数据的重要组成部分。
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置 [复制链接] 韩克拉玛寒 韩克拉玛寒 当前离线 积分2439. 窥视卡 雷达
张伟的专栏
08-08 1345
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置 [复制链接]     韩克拉玛寒 韩克拉玛寒 当前离线 积分2439 窥视卡 雷达卡 40 主题
ubuntu 搭建Hadoop，hive，zookeeper详细步骤
lcxhjg的专栏
07-12 466
Hadoop installStandalone operationStep #1, install1.      Install VMWare ESXi 6.0,vSphere Client.2.      Install Ubuntu 16.04 (ubuntu-16.04.1-desktop-amd64.iso)3.      Install rsync, openssh-server,x1...
Hbase 2.2.4集群部署在Hadoop3.3.0上
l1682686的博客
08-14 1200
HBase2.2.4分布式集群部署。
搭建高可用 zookeeper3.4.6 +hadoop2.7.1 +hbase1.2.6 环境
西北的博客
12-18 440
搭建高可用 zookeeper3.4.6 +hadoop2.7.1 +hbase1.2.6 环境
阿里云ECS7安装搭建：hbase1.3.3分布式集群
alan_liuyue的博客
05-16 690
简介 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务； Hbase适合用来进行大数据的实时查询，支持增删查改，但不支持复杂的统计功能，统计功能一般使用Hive； 安装HBase分布式集群所需的前提环境： Zookeeper集群：可自行搭建一个zookeeper集群，同时也可...
大数据系列之分布式数据库HBase-1.2.4+Zookeeper 安装及增删改查实践
人人都是程序员
03-19 341
之前介绍过关于HBase 0.9.8版本的部署及使用，本篇介绍下最新版本HBase1.2.4的部署及使用，有部分区别，详见如下： 1. 环境准备： 　　1.需要在Hadoop[hadoop-2.7.3] 启动正常情况下安装，hadoop安装可参考LZ的文章 大数据系列之Hadoop分布式集群部署 　　2. 资料包  zookeeper-3.4.9.tar.gz,hbase-1.2.4-b...
Hadoop3.2.1环境下安装HBase
pengjunlee的博客
05-19 3858
环境准备 Linux：CentOS Linux release 7.2.1511 (Core) # 使用 cat /etc/redhat-release 命令查看 JDK：jdk1.8.0_211 Hadoop：3.2.1 Zookeeper：3.4.14 HBase：1.4.13 安装步骤 # 将hbase安装包下载至 /usr/lcoal/src 目录 cd /usr/local/src wget http://archive.apache.org/dist/hbase/1.4.13/hb
大数据集群环境部署(Hadoop-3.3.1 + Hive-3.1.2 + HBase-2.4.4)
smollcat的博客
07-16 4738
typora-root-url: 大数据环境部署.assets Hadoop # 安装解压，移动到/usr/local/src/ export HADOOP_HOME=/usr/local/src/hadoop-3.3.1 export JAVA_HOME=/usr/local/src/jdk1.8.0_211 export export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH # 使用source命令让立即生效 sou.
CDH3U0环境下Hadoop+ZooKeeper+HBase分布式集群搭建指南
"本资源提供了一本详尽的指南，涵盖了Hadoop与HBase集群的构建过程，特别关注了ZooKeeper的集成以及集群中的角色分配。文档指出在生产环境中，Zookeeper应该独立安装，以避免版本不兼容问题，并推荐使用Cloudera的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值