搭建企业Hbase

最新推荐文章于 2017-01-05 22:44:14 发布
最新推荐文章于 2017-01-05 22:44:14 发布
阅读量531 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xqclll/article/details/52349281
版权

**注意：本文步骤完全参考阳光奶爸的博文,有些部分根据我自己的理解进行了修改和补充。
http://blog.csdn.net/carl810224/article/details/52174412
自己搭建成功，记录下来作为作业笔记。
**

一. 准备工作：
1.搭建Hbase HA之前需要搭建好Hadoop HA集群
2.下载所需要的软件包:
hbase-1.2.0-cdh5.7.1.tar.gz
http://archive.cloudera.com/cdh5/cdh/5/
二.企业级系统参数配置
//查看linux系统最大进程数和最大文件打开数
ulimit -a
这里写图片描述
//设置linux系统最大进程数和最大文件打开数（设置完重新登录shell）
gedit /etc/security/limits.conf

root    soft   nproc   50000
root    hard   nproc   50000
root    soft   nofile  25535
root    hard   nofile  25535
hadoop    soft   nproc   50000
hadoop    hard   nproc   50000
hadoop    soft   nofile  25535
hadoop    hard   nofile  25535

这里写图片描述
//调整linux内核参数
gedit /etc/sysctl.conf

net.ipv4.ip_forward= 0
net.ipv4.conf.default.rp_filter= 1
net.ipv4.conf.default.accept_source_route= 0
kernel.core_users_pid= 1
net.ipv4.tcp_syncookies= 1
net.bridge.bridge-nf-call-ip6tables= 0
net.bridge.bridge-nf-call-iptables= 0
net.bridge.bridge-nf-call-arptables= 0
kernel.mggmnb= 65536
kernel.mggmax= 65536
kernel.shmmax= 68719476736
kernel.shmall= 268435456
net.ipv4.tcp_max_syn_backlog= 65000
net.core.netdev_max_backlog= 32768
net.core.somaxconn= 32768
fs.file-max= 65000
net.core.wmem_default= 8388608
net.core.rmem_default= 8388608
net.core.rmem_max= 16777216
net.core.wmem_max= 16777216
net.ipv4.tcp_timestamps= 1
net.ipv4.tcp_synack_retries= 2
net.ipv4.tcp_syn_retries= 2
net.ipv4.tcp_mem= 94500000 915000000 927000000
net.ipv4.tcp_max_orphans= 3276800
net.ipv4.tcp_tw_reuse= 1
net.ipv4.tcp_tw_recycle= 1
net.ipv4.tcp_keepalive_time= 1200
net.ipv4.tcp_syncookies= 1
net.ipv4.tcp_fin_timeout= 10
net.ipv4.tcp_keepalive_intvl= 15
net.ipv4.tcp_keepalive_probes= 3
net.ipv4.ip_local_port_range= 1024 65535
net.ipv4.conf.eml.send_redirects= 0
net.ipv4.conf.lo.send_redirects= 0
net.ipv4.conf.default.send_redirects= 0
net.ipv4.conf.all.send_redirects= 0
net.ipv4.icmp_echo_ignore_broadcasts= 1
net.ipv4.conf.eml.accept_source_route= 0
net.ipv4.conf.lo.accept_source_route= 0
net.ipv4.conf.default.accept_source_route= 0
net.ipv4.conf.all.accept_source_route= 0
net.ipv4.icmp_ignore_bogus_error_responses= 1
kernel.core_pattern= /tmp/core
vm.overcommit_memory= 1

这里写图片描述
//
systcl –p
三.HBase HA配置
//进入hbase的conf目录
cd /home/qichenglin/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/conf/
修改hbase-env.sh
gedit hbase-env.sh

# 配置JDK安装路径
exportJAVA_HOME=/home/qichenglin/hadoop/app/jdk1.7.0_79
# 配置Hadoop安装路径
exportHADOOP_HOME=/home/qichenglin/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1
# 设置HBase的日志目录
exportHBASE_LOG_DIR=${HBASE_HOME}/logs
# 设置HBase的pid目录
exportHBASE_PID_DIR=${HBASE_HOME}/pids
# 使用独立的ZooKeeper集群
exportHBASE_MANAGES_ZK=false
# 优化配置项
# 设置HBase内存堆的大小
exportHBASE_HEAPSIZE=1024
# 设置HMaster最大可用内存
exportHBASE_MASTER_OPTS="-Xmx512m"
# 设置HRegionServer最大可用内存
exportHBASE_REGIONSERVER_OPTS="-Xmx1024m"

//配置hbase-site.xml
gedit hbase-site.xml

<configuration>
  <!-- 设置HRegionServers共享目录 -->  
  <property>  
    <name>hbase.rootdir</name>  
    <value>hdfs://mycluster/hbase</value>  
  </property>  

  <!-- 设置HMaster的rpc端口 -->  
  <property>  
    <name>hbase.master.port</name>  
    <value>16000</value>  
  </property>  

  <!-- 设置HMaster的http端口 -->  
  <property>  
    <name>hbase.master.info.port</name>  
    <value>16010</value>  
  </property>  

  <!-- 指定缓存文件存储的路径 -->  
  <property>  
    <name>hbase.tmp.dir</name>  
    <value>/home/qichenglin/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/tmp</value>  
  </property>  

  <!-- 开启分布式模式 -->  
  <property>  
    <name>hbase.cluster.distributed</name>  
    <value>true</value>  
  </property>  

  <!-- 指定ZooKeeper集群位置 -->  
  <property>  
    <name>hbase.zookeeper.quorum</name>  
    <value>hadoop-slave1,hadoop-slave2,hadoop-slave3</value>  
  </property>  

  <!-- 指定ZooKeeper集群端口 -->  
  <property>  
    <name>hbase.zookeeper.property.clientPort</name>  
    <value>2181</value>  
  </property>  

  <!--指定Zookeeper数据目录，需要与ZooKeeper集群上配置相一致 -->  
  <property>  
    <name>hbase.zookeeper.property.dataDir</name>  
    <value>/home/qichenglin/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data</value>  
  </property>  

  <!-- \\\\\\\\\\以下为优化配置项\\\\\\\\\\ -->  
  <!-- 关闭分布式日志拆分 -->  
  <property>  
    <name>hbase.master.distributed.log.splitting</name>  
    <value>false</value>  
  </property>  

  <!-- hbase客户端rpc扫描一次获取的行数 -->  
  <property>  
    <name>hbase.client.scanner.caching</name>  
    <value>2000</value>  
  </property>  

  <!-- HRegion分裂前最大的文件大小（10G） -->  
  <property>  
    <name>hbase.hregion.max.filesize</name>  
    <value>10737418240</value>  
  </property>  

  <!-- HRegionServer中最大的region数量 -->  
  <property>  
    <name>hbase.regionserver.reginoSplitLimit</name>  
    <value>2000</value>  
  </property>  

  <!-- StoreFile的个数超过这个数就开始合并 -->  
  <property>  
    <name>hbase.hstore.compactionThreshold</name>  
    <value>6</value>  
  </property>  

  <!-- 当某一个region的storefile个数达到该值则block写入，等待compact -->  
  <property>  
    <name>hbase.hstore.blockingStoreFiles</name>  
    <value>14</value>  
  </property>  

  <!-- 超过memstore大小的倍数达到该值则block所有写入请求，自我保护 -->  
  <property>  
    <name>hbase.hregion.memstore.block.multiplier</name>  
    <value>20</value>  
  </property>  

  <!-- service工作的sleep间隔 -->  
  <property>  
    <name>hbase.server.thread.wakefrequency</name>  
    <value>500</value>  
  </property>  

  <!-- ZooKeeper客户端同时访问的并发连接数 -->  
  <property>  
    <name>hbase.zookeeper.property.maxClientCnxns</name>  
    <value>2000</value>  
  </property>  

  <!-- 根据业务情况进行配置 -->  
  <property>  
    <name>hbase.regionserver.global.memstore.lowerLimit</name>  
    <value>0.3</value>  
  </property>  
  <property>  
    <name>hbase.regionserver.global.memstore.upperLimit</name>  
    <value>0.39</value>  
  </property>  
  <property>  
    <name>hbase.block.cache.size</name>  
    <value>0.4</value>  
  </property>  

  <!-- RegionServer的请求处理IO线程数 -->  
  <property>  
    <name>hbase.reginoserver.handler.count</name>  
    <value>300</value>  
  </property>  

  <!-- 客户端最大重试次数 -->  
  <property>  
    <name>hbase.client.retries.number</name>  
    <value>5</value>  
  </property>  

  <!-- 客户端重试的休眠时间 -->  
  <property>  
    <name>hbase.client.pause</name>  
    <value>100</value>  
  </property>
</configuration>

//配置regionservers
gedit regionservers

hadoop-slave1
hadoop-slave2
hadoop-slave3

//新建backup-masters文件并配置
gedit backup-masters
//创建hbase的缓存文件目录
cd /home/qichenglin/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/
mkdir tmp
//创建hbase的日志文件目录
mkdir logs
//创建hbase的pid文件目录
mkdir pids
//将hbase工作目录同步到集群其它节点
scp -r /home/qichenglin/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/ hadoop-master2:/home/qichenglin/hadoop/app/cdh/
scp -r /home/qichenglin/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/ hadoop-slave1:/home/qichenglin/hadoop/app/cdh/
scp -r /home/qichenglin/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/ hadoop-slave2:/home/qichenglin/hadoop/app/cdh/
scp -r /home/qichenglin/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/ hadoop-slave3:/home/qichenglin/hadoop/app/cdh/
//每个复制了路径的节点
chmod -R 777 /home/qichenglin/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/
//在集群各节点上修改用户环境变量
gedit ~/.bashrc

export HBASE_HOME=/home/qichenglin/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1
export PATH=$PATH:$HBASE_HOME/bin

source ~/.bashrc

//删除hbase的slf4j-log4j12-1.7.5.jar，解决hbase和hadoop的LSF4J包冲突
cd /home/qichenglin/hadoop/app/cdh/hbase-1.2.0-cdh5.7.1/lib
mv slf4j-log4j12-1.7.5.jar slf4j-log4j12-1.7.5.jar.bk

四.集群启动
// 启动zookeeper集群（分别在slave1、slave2和slave3上执行）
zkServer.sh start
备注：此命令分别在slave1/slave2/slave3节点启动了QuorumPeerMain。
// 启动HDFS（在master1执行）
start-dfs.sh
备注：此命令分别在master1/master2节点启动了NameNode和ZKFC，分别在slave1/slave2/slave3节点启动了DataNode和JournalNode。
// 启动YARN（在master2执行）
start-yarn.sh
备注：此命令在master2节点启动了ResourceManager，分别在slave1/slave2/slave3节点启动了NodeManager。
// 启动YARN的另一个ResourceManager（在master1执行，用于容灾）
yarn-daemon.sh start resourcemanager
备注：此命令在master1节点启动了ResourceManager。
// 启动HBase（在master1执行）
start-hbase.sh
备注：此命令分别在master1/master2节点启动了HMaster，分别在slave1/slave2/slave3节点启动了HRegionServer。

五 .测试
（一）Web UI
下图为http://hadoop-master1:16010，可看到主Master状态：
这里写图片描述
下图为http://hadoop-master2:50070，可看到备份Master状态：
这里写图片描述

（二）Shell操作
连接hbase客户端
hbase shell
这里写图片描述
创建表，表名为employee，列族为info
create ‘employee’,’info’
这里写图片描述
显示hbase已创建的表，验证表employee是否创建成功
list
这里写图片描述
在表employee中插入测试数据
put ‘employee’,’rowkey01’,’info:id’,’1001’
put ‘employee’,’rowkey01’,’info:name’,’Henry’
put ‘employee’,’rowkey01’,’info:address’,’Bangalore’
put ‘employee’,’rowkey02’,’info:id’,’1002’
put ‘employee’,’rowkey02’,’info:name’,’Messi’
这里写图片描述
检索表employee中的所有记录
scan ‘employee’
这里写图片描述
检索表employee中行键为rowkey01的记录
get ‘employee’,’rowkey01’
这里写图片描述
禁用表employee并删除
disable ‘employee’
drop ‘employee’

六尘
关注
专栏目录
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
Hbase个人总结
01-27
通过以上步骤，可以在本地环境中搭建起一个简单的HBase实例，为进一步学习和实践打下基础。 总之，HBase作为一种高性能的非关系型数据库系统，以其独特的面向列存储设计、高可靠性和出色的可扩展性，成为了处理大...
hbase数据可视化系统
07-14
通过SpringBoot搭建的HBase可视化系统，使得非技术人员也能便捷地管理和操作HBase，降低了使用门槛，提高了工作效率。同时，这样的系统也为企业提供了统一的数据管理入口，便于监控和维护。在实际应用中，可以根据...
完全分布式安装hbase,使用hbase自带的zookeeper
热门推荐
12-28 2万+
1.我使用的是稳定版本的hbase：hbase-1.2.4-bin.tar.gz 下载地址：http://www-eu.apache.org/dist/ 里面有个stable版本的2.配置环境变量，集群上的每个节点都要配置 vim ~/.bashrcexport HBASE_HOME=/usr/local/hbase/hbase-1.2.4 export PATH=$PATH:$HBASE_H
scala编写的Spark程序远程提交到服务器集群上运行
01-05 1万+
一.需要的软件： eclipse 相应版本的scalaIDE 与集群一样的spark安装包，主要是要用到spark中的jar包 与集群一样的hadoop安装包 与hadoop版本对应的winutil.exe，hadoop.dll（只要版本差距不大不一样也没关系） 二.步骤 （一）在eclipse中安装对应版本的ScalaIDE，具体安装见网上。（二）复制winutil.exe，hadoop.dll
Eclipse搭建Scala+Spark开发环境
12-22 4054
搭建教程：http://www.linuxidc.com/Linux/2015-08/120946.htm eclipse中运行第一个scala编写的spark程序：http://blog.csdn.net/xummgg/article/details/50651867 eclipse中Scala IDE插件的下载地址：http://scala-ide.org/download/prev-sta
大数据实战下笔记——Hadoop NameNode HA的原理
08-21 3614
NameNode高可用整体（HA）框架NameNode的主备切换NameNode的共享存储 一．NameNode高可用整体框架 组件： 两个NameNode，一个在Active上，一个在Standby上。Active为Hadoop提供服务。两台NameNode互备，处于Active状态的NameNode是主，处于standby状态的NameNode是备，只有主Name
CentOS7上安装Hadoop2.0——单机模式/伪分布式模式 暨任务二
12-06 2991
注意：本文步骤参考给力星的http://www.powerxing.com/install-hadoop-in-centos/的内容，实验结果均是本人真实实验的图片，仅用于记录和学习之用。一． 创建hadoop用户1. 登录root用户，创建Hadoop用户$ su root2. 创建可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。# useradd -m hadoop
大数据开发进阶笔记——HBase的常用原子操作Java代码
08-15 2728
HBase的常用原子操作Java代码：   Append:追加，类似于put操作。 Configurationconf =HBaseConfiguration.create(); conf.set(“hbase.zookeeper.quorum”,”192.168.1.149”); conf.set(“hbase.zookeeper.property.clientport”,”2181”
centOS安装Scala和Spark
12-12 2702
一.安装ScalaScala程序运行在java虚拟机（JVM）上，所以安装Scala之前需要先在linux系统中安装Java。由于之前已经安装了，没安装的可以到我的文章http://blog.csdn.net/xqclll/article/details/53466713去查看。到Scala的官网上去下载相应操作系统的scala版本，解压到安装路径下，然后修改文件权限，使hadoop用户拥有对sca
大数据技术基础（笔记）
05-22 2106
企业面临的挑战之一是：传递大数据。传递大数据受限制于IT基础设施，需要解决大数据的规模和动态性问题。 与大数据有关的不同架构思想 大数据技术和它的组件 设计原则大数据的功能需求： 1. 采集数据 2. 组织数据 3. 集成数据 4. 分析数据 5. 按照分析结果执行操作其他需求： 1. 架构支持，强大的运算能力和速度也非常重要
HBase协处理器
09-04 1088
一． 协处理器定义 HBase可以让用户的部分逻辑在数据存放端及HBase服务端进行计算的机制（框架），协处理器允许用户在hbase服务端上运行自己的代码。 二． 协处理器的分类 1.从加载角度来分类： 系统协处理器：配置好配置文件，完全导入，全局使用协处理器 表协处理器：用户可以指定某一张表使用协处理器 2.从功能角度来分类 Observer协处理器：相当于关系型数据库中的触发
Hadoop 2.0 HA高可用集群安装配置
08-29 1086
**注意：本文步骤完全参考阳光奶爸的博文,有些部分根据我自己的理解进行了修改和补充。 http://blog.csdn.net/carl810224/article/details/52160418 自己搭建成功，记录下来作为作业笔记。 **一.高可用集群规划 主机名 IP地址 安装的软件
Hadoop2.0集群安装配置
12-11 906
本集群使用centOS 7作为系统集群，基于原生Hadoop2，使用版本为Hadoop2.6.0。 一. 搭建前提：在 搭建集群之前，要保证 每台虚拟机都配置好了Hadoop用户 安装SSHServer（centOS 7系统安装好后就默认安装了） 安装JAVA环境 安装Hadoop 二. 网络配置首先保证所有主机位于同一个局域网内，然后将每台虚拟机的网络都设为桥接模式，并且手工配置IP地址，保证它
CentOS安装配置JDK1.7暨任务一
12-05 875
1.解压jdk,新建Hadoop文件,将JDK解压后放入此文件夹中 2.进入root用户su root3.卸载自带的openJDKrpm -qa | grep java rpm -e --nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64 rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91
centOS 登录远程服务器
12-09 715
一. 获得对方的授权: 服务器IP地址：xxx.xxx.xxx.xxx 端口号：xx 用户名：mjc 密码：********** 二. centOS7安装完后默认自动开启ssh服务 但我们可以使用如下步骤检查ssh是否开启 1.查看22端口是否开放netstat -tnl 2.查看ssh服务是否启动systemctl status sshd.service3.ssh远程登录： ssh [-l
HDFS写操作遗留问题
12-18 694
一. 大量小文件如何存储在HDFS上： HDFS上块的大小默认为64M，有的为128M。这里以64M为例每写入一个文件，首先由客户端创建文件请求，创建完成后，第二步就是询问NameNode要写入的这个文件所分到的这些数据块（block）在哪些DataNode上。NameNode会在命名空间中新建一个文件，并检查这个文件是否已经存在，并且检查是否有权限创建。检查通过后，第三步开始写入数据。当文件
大数据开发基础上笔记
07-31 678
一、HDFS简介 1.Hadoop2介绍 2.HDFS概述 3.HDFS读写流程   1.Hadoop2的介绍 （1）Hadoop2框架的核心设计：HDFS、MapReduce、YARN（使得Hadoop2可以运行更多的框架）、other （2）Hadoop1:MapReduce、HDFS （3）Hadoop2主要改进：             YARN：使Hadoo
Cloudera Manager 5.9.3自动化搭建Hadoop Hbase集群指南
首先，Cloudera Manager 是一个企业级的大数据管理平台，它提供了对Hadoop、HBase、Spark和Hive等组件的一体化管理和监控。通过集成化的界面，用户可以方便地安装、配置和维护这些大数据服务。 文档的主要目的是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值