在Ubuntu 14.04上的zookeeper+HBase集群配置

最新推荐文章于 2024-07-25 10:08:28 发布
最新推荐文章于 2024-07-25 10:08:28 发布
阅读量2.4k 收藏 1
点赞数 1
文章标签： ubuntu hbase zookeeper 集群 配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/predict_wise/article/details/51981140
版权

环境介绍

  • 系统：Ubuntu14.04 64位
  • zookeeper版本：zookeeper-3.4.8
  • hbase版本：hbase-1.2.2
  • 集群环境：
角色hostnameIP
mastermaster192.168.1.112
slave1slave1192.168.1.123
slave2slave2192.168.1.121

同步集群时间

注：必须得同步时间，不然会有节点启动不起来

master端配置

  • 先确保时区正确，中国是在东八区（CST），如果时区不正确需要先设置好时区

    • sudo tzselect
    • 选择 Asia => China => Beijing
    • sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

  • 安装 ntp
    sudo apt-get install ntp

  • 修改 /etc/ntp.conf
    注释掉原来所有的 server 开头的项，添加：

    server 127.127.1.0

  • 重启 ntp 服务
    sudo service ntp restart

slave端配置

注：在slave1和slave2中都要配置

  • 安装ntp
    sudo apt-get install ntp

  • 修改 /etc/ntp.conf
    注释掉所有的以 server 开头的项，添加：

    server master prefer

  • 重启 ntp 服务
    sudo service ntp restart

  • 查看时间偏移
    ntpq -p
    其中的 offset 是 本机 和 master 之间的时间差，单位为 ms

  • 强制同步时间
    sudo ntpdate -u master
    一段时间后，slave 就会和 master保持同步了
    你可以再次查看时间偏移
    ntpq -p

zookeeper配置

  • 配置环境变量

    
#for zookeeper

export ZOOKEEPER_HOME=/opt/zookeeper-3.4.8
export PATH=$ZOOKEEPER_HOME/bin:$PATH

  • 使环境变量生效
    source /etc/profile

  • 解压zookeeper-3.4.8.tar.gz 到 /opt 目录下
    sudo tar -zxf zookeeper-3.4.8.tar.gz -C /opt

  • 赋予权限
    sudo chown -R wlw:wlw /opt/zookeeper-3.4.8
    第一个wlw是你的用户名
    第二个wlw是你的组名

  • 进入zookeeper-3.4.8目录，在里面创建data和logs文件夹
    cd /op/zookeeper-3.4.8
    mkdir data
    mkdir logs

  • 复制配置文件
    cd conf/
    cp zoo_sample.cfg zoo.cfg

  • 修改配置文件zoo.cfg
    vim zoo.cfg

    clientPort=2181 #客户端连接端口
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/opt/zookeeper-3.4.8/data #数据目录
dataLogDir=/opt/zookeeper-3.4.8/logs #日志目录
server.0=master:2888:3888
server.1=slave1:2888:3888
server.2=slave2:2888:3888

    注：

    • tickTime：Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳

    • initLimit：Zookeeper的Leader 接受客户端（Follower）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒

    • syncLimit：表示 Leader 与 Follower 之间发送消息时请求和应答时间长度，最长不能超过多少个tickTime 的时间长度，总的时间长度就是 2*2000=4 秒

    • server.A=B：C：D：其中A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

  • 在dataDir目录下创建myid文件
    cd /opt/zookeeper-3.4.8/data
    touch myid
    master机器的内容为0，slave1机器的内容为1，slave2机器的内容为2，若有更多依此类推

  • 在master节点上将配置好的zookeeper分发给各个slave，建议先打包再分发
    cd /opt
    sudo tar -zcf ./zookeeper-3.4.8.tar.gz ./zookeeper-3.4.8
    scp ./zookeeper-3.4.8.tar.gz wlw@slave1:/home/wlw

  • 在slave（slave1和slave2）节点上执行
    sudo tar -zxf ~/zookeeper-3.4.8.tar.gz -C /opt/
    sudo chown -R wlw:wlw /opt/zookeeper-3.4.8

    注：再次提醒别忘了更改 /opt/zookeeper-3.4.8/data/myid

启动zookeeper

  • 启动
    cd /opt/zookeeper-3.4.8
    ./bin/zkServer.sh start

    注：需要在master和slave机上都启动

  • 查看状态
    ./bin/zkServer.sh status
    显示为leader或者follower
    在 master 和slave节点上运行 jps 应该会有QuorumPeerMain进程

  • 停止
    ./bin/zkServer.sh stop

HBase配置

  • 配置环境变量

    
#for hbase 

export HBASE_HOME=/opt/hbase-1.2.2
export PATH=$HBASE_HOME/bin:$PATH

  • 使环境变量生效
    source /etc/profile

  • 解压hbase-1.2.2.tar.gz 到 /opt 目录下
    sudo tar -zxf hbase-1.2.2.tar.gz -C /opt

  • 赋予权限
    sudo chown -R wlw:wlw /opt/hbase-1.2.2

  • 进入hbase-1.2.2目录，在里面创建pids文件夹
    cd /op/hbase-1.2.2
    mkdir pids
    注：这一步很重要，否则在停止HBase时会因为找不到进程id而出错

  • 在conf/ 中添加hadoop的core-site.xml和hdfs-site.xml文件，添加zookeeper的zoo.cfg文件

  • 修改conf/hbase-site.xml

    <configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>   
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>master,slave1,slave2</value>
  </property>
  <property>
    <name>hbase.master.info.bindAddress</name>
    <value>master</value>
    <description>HBase Master Web UI的绑定地址，默认0.0.0.0</description>
  </property>
  <property>
    <name>hbase.master.info.port</name>
    <value>16010</value>
    <description>HBase Master Web UI端口，-1表示不运行Web UI</description>
  </property>
  <!-- HRegionServer相关参数 -->
  <property>
    <name>hbase.regionserver.port</name>
    <value>16020</value>
    <description>The port the HBase RegionServer binds to.</description>
  </property>
  <property>
    <name>hbase.regionserver.info.port</name>
    <value>16030</value>
    <description>The port for the HBase RegionServer web UI</description>
  </property>
  <!-- 在其他机器上需要配置为当前主机的主机名 -->
  <property>
    <name>hbase.regionserver.info.bindAddress</name>
    <value>master</value>
    <description>The address for the HBase RegionServer web UI</description>
  </property>
</configuration>

    注：hbase.regionserver.info.bindAddress这一项需要根据当前主机的hostname来配置。在slave1机器上value值则为slave1

  • 修改conf/hbase-env.sh

        export JAVA_HOME=/opt/jdk1.7.0_75
    export HBASE_HOME=/opt/hbase-1.2.2
    # 禁用hbase自带的zookeeper
    export HBASE_MANAGES_ZK=false
    export HBASE_CLASSPATH=/opt/hadoop-2.7.2/etc/hadoop
    # 存放进程id，很重要
    export HBASE_PID_DIR=/opt/hbase-1.2.2/pids

  • 修改conf/regionservers
    相当于hadoop中的slaves文件

    slave1
slave2

  • 在master节点上将配置好的hbase分发给各个slave，建议先打包再分发
    cd /opt
    sudo tar -zcf ./hbase-1.2.2.tar.gz ./hbase-1.2.2
    scp ./hbase-1.2.2.tar.gz wlw@slave1:/home/wlw

  • 在slave（slave1和slave2）节点上执行
    sudo tar -zxf ~/hbase-1.2.2.tar.gz -C /opt/
    sudo chown -R wlw:wlw /opt/hbase-1.2.2

  • 再次提醒
    修改conf/hbase-site.xml中的
    hbase.regionserver.info.bindAddress，这一项需要根据当前主机的hostname来配置。在slave1机器上value值则为slave1

修改 ulimit 限制

HBase 会在同一时间打开大量的文件句柄和进程，超过 Linux 的默认限制，导致可能会出现错误

  • 修改/etc/security/limits.conf文件，添加：

    wlw  -       nofile  32768
wlw  -       nproc   32000

    注：将wlw改成你运行 HBase 的用户名

  • 还需要修改 /etc/pam.d/common-session，让/etc/security/limits.conf上的配置生效，添加：

    session required pam_limits.so

  • 注销（logout）后再登录，这些配置才能生效
    注：记得在master和slave上都修改

运行 HBase

  • 在master上运行
    cd /opt/hbase-1.2.2
    ./bin/start-hbase.sh

  • 在master上启动thrift 服务线程池
    ./bin/hbase thrift start -threadpool
    或者
    在master和slave上分别手动启动thrift服务
    ./bin/hbase-daemon.sh start thrift

  • 验证 HBase 是否成功安装
    在 master 节点上运行 jps 应该会有HMaster和ThriftServer进程
    在各个 slave 节点上运行jps 应该会有HRegionServer和ThriftServer进程

最终启动的顺序为：

zookeeper -> hadoop -> hbase

在master上运行jps会有进程:

Jps
QuorumPeerMain
HMaster
ResourceManager
SecondaryNameNode
NameNode

在slave上运行jps会有进程:

Jps
DataNode
QuorumPeerMain
NodeManager
HRegionServer

最后可以通过web ui来查看HBase的情况，http://master:16010

关闭则为逆序

predict_wise
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop集群搭建（hadoop+zookeeper+hbase）Ubuntu14.04
sinat_36183608的博客
05-14 626
以Ubuntu14.04为模板搭建小集群一个namenode和2个datanode(hadoop集群)
学习搭建Hadoop+HBase+ZooKeeper分布式集群环境
Shanker
05-04 6032
一、环境配置 由于集群至少需要三台服务器，我就拿上次做的MongoDB Master, Slave, Arbiter环境来做Hadoop集群。服务器还是ibmcloud 免费提供的。其中Arbiter在这里做的也是slave的角色。 Hostname IP  Server Type Master 192.168.0.28
hadoop(单)+mysql+hive+zookeeper+hbase+hue+rabbitmq+kafka+vertica
安庭轩的博客
12-28 348
Linux用户登录，sudo -s 切换到root用户，/usr/local下创建tool目录（个人习惯） 一、SSH免密登录 cd /root/.ssh,使用rsa生成秘钥，ssh-keygen -t rsa 一路回车即可 cat id_rsa.pub >> authorized_keys 二、JDK安装配置（本地有jdk-8u171-linux-x64.tar.gz包，下同） 1.rz上传jdk并解压到/usr/local/tool目录下 tar -zxvf jdk-8u171-linux
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解
qq_31306083的博客
06-06 268
一、环境说明 个人理解： ZooKeeper可以独立搭建集群，HBase本身不能独立搭建集群需要和Hadoop和HDFS整合。 集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下： IP    角色10.10.50.133 master10.10.125.156 slav...
Ubuntu 14.04 单机版 Hadoop2.2.0+hbase0.96.2 安装练习
Dayin_mao
08-12 1857
1、ssh 免密码登录配置 2、JDK1.6安装 3、Hadoop2.2.0安装
Ubuntu 14.04 下 Hbase 1.0.1.1 单机模式安装
ahitbo的博客
05-23 560
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
Hadoop-2.6.0+Zookeeper-3.4.6+Spark-1.5.0+Hbase-1.1.2+Hive-1.2.0集群搭建
平凡的世界
03-16 1082
转载地址：http://blog.csdn.net/u013327467/article/details/45675705 前言 本博客目的在于跟大家分享大数据平台搭建过程，是笔者半年的结晶。在大数据搭建过程中,希望能给大家提过一些帮助，这也是本博客的价值所在
Hadoop2.7.2高可用(HA)环境下Hbase高可用(HA)环境的搭建（在Ubuntu14.04下以root用户进行配置）
水滴石穿的博客
07-14 2675
在上次搭建的Hadoop-2.7.2高可用集群基础上搭建高可用HBase,在此记录、分享。
Mac系统下，Hadoop 2.6.2 + ZooKeeper 3.4.6 + HBase 1.1.5 完全分布式环境搭建
wk51920的专栏
06-28 2284
简介         HBase是Apache Hadoop的数据库，能够对大数据提供随机、实时的读写访问功能，具有开源、分布式、可扩展及面向列存储的特点。HBase是由Chang等人基于Google的Bigtable开发而成的。HBase的目标是存储并处理大型的数据，更具体来说是只需要使用普通的硬件配置即可处理由成千上万的行和列组成的大数据。         HBase是一个开源的、分布
ubuntu14.04+caffe+cpu配置
09-11
Ubuntu14.04系统下caffe的安装与配置过程，希望能帮到一些需要的人。我在安装的过程中遇到很多问题，个人建议Ubuntu系统用Ubuntu14.04版本。
Ubuntu 14.04下mysql安装配置教程
09-10
本文将详细介绍如何在Ubuntu 14.04上进行MySQL的安装和配置过程。 首先，安装前的准备工作至关重要。确保系统已经更新到最新版本的软件源，可以通过在终端输入`sudo apt-get update`并按回车键来执行此操作。这将...
Ubuntu 14.04 64位上配置JDK操作步骤
09-15
至此，JDK在Ubuntu 14.04 64位系统上的安装与配置就完成了。这个过程对于其他基于Debian的Linux发行版也有一定的参考价值。如果你在操作过程中遇到任何问题，欢迎提问，我们会尽力提供帮助。感谢你对我们的支持，祝...
ubuntu cmake使用自己版本的qt
最新发布
南北粉面馆
07-25 148
【代码】ubuntu cmake使用自己版本的qt。
Ubuntu 配置repo环境
xiangzhihong8的专栏
07-24 611
repo是Google开发的用于管理Android版本库的一个工具，repo是使用Python对git进行了一定的封装，并不是用于取代git，它简化了对多个Git版本库的管理。用repo管理的版本库都需要使用git命令来进行操作。
【解决】ubuntu20.04 root用户无法SSH登陆问题
SummerGao
07-24 210
保存并关闭文件之后，需要重启SSH服务以使更改生效。以允许root用户通过SSH登录。设置，并将其值更改为。
【音视频之SDL2】Ubuntu编译配置SDL2环境
m0_62599305的博客
07-24 1039
SDL2（Simple DirectMedia Layer 2）是一个用于开发跨平台多媒体应用程序的广泛使用的库，特别是在游戏开发中。它为音频、键盘、鼠标、操纵杆、2D和3D图形硬件抽象层提供了低级别的访问。对于想在Ubuntu上配置和编译SDL2环境的开发者来说，本文将帮助你快速了解SDL2的基本功能，并提供相关的配置步骤。SDL2作为一个功能强大且跨平台的多媒体开发库，提供了丰富的功能来处理音频、图形、输入和窗口管理等多媒体任务。
ubuntu c++ nginx ffmpeg 推流海康摄像头视频
yuchunhai321的博客
07-24 215
ubuntu c++ nginx ffmpeg 推流海康摄像头视频
Ubuntu14.04搭建私有Docker Registry全攻略
"在Ubuntu 14.04上搭建私有Docker Registry的教程" 在现代的云计算和DevOps环境中，Docker已经成为部署和管理应用程序的重要工具。Docker允许开发者将应用程序及其依赖打包到一个可移植的容器中，使得在不同环境中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值