hbase-2.6.0-hadoop03 安装

已于 2024-08-22 11:54:46 修改
阅读量355 收藏 9
点赞数 5
文章标签： hbase 数据库 大数据
于 2024-08-22 11:35:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jeady82/article/details/141422859
版权

一、准备

        1、版本

                hbase-2.6.0-hadoop3

                引用的hadoop安装参考：hadoop 3.3.6 HA安装_hadoop安装包3.3.6-CSDN博客

        2、服务角色

No.

ip

role1

role2

remark

1

hadoop01

hmaster

2

hadoop02

hmaster

3

hadoop03

regionserver

4

hadoop04

regionserver

5

hadoop05

regionserver

6

hadoop06

regionserver

7

hadoop07

regionserver

8

hadoop08

regionserver

        3、创建用户

useradd hbase

        4、ssh免密

ssh-keygen -b 1024 -t rsa

         5、添加服务的DNS解析或hosts文件

二、服务部署

        1、安装

cd /BigData/install
tar xvf hbase-2.6.0-hadoop3-bin.tar.gz
ln -snf /BigData/install/hbase-2.6.0-hadoop3 /BigData/run/hbase

        2、定义环境变量

cat >> /etc/profile.d/hbase.sh << EOF
#!/bin/bash

#HBASE
export HBASE_HOME=/BigData/run/hbase
export PATH=$HBASE_HOME/bin:$PATH
EOF

        3、修改配置

                hbase-env.sh

[root@hadoop01 conf]# more hbase-env.sh | grep -vE '^$|^#'
export SERVER_GC_OPTS="-verbose:gc -XX:+PrintGCTimeStamps -XX:+PrintGC -XX:+PrintGCDetails -XX:+PrintGCApplicationStoppedTime -XX:+PrintHeapAtGC -XX:+PrintGCDateStamps -XX:+PrintAdaptiveSizePolicy -XX:+PrintTenuringDistribution -XX:PrintSafepointStatisticsCount=1 -XX:PrintFLSStatistics=1 -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=64M -XX:+HeapDumpOnOutOfMemoryError  -XX:HeapDumpPath=/data/logs/hbase/java.dump -XX:ErrorFile=/data/logs/hbase/err_pid%p.log"
export HBASE_SERVER_JAAS_OPTS="-verbose:gc"
HBASE_LIB_DIR=$HBASE_HOME/lib
export HBASE_MASTER_JMX_BASE="-Djava.rmi.server.hostname=$HOSTNAME -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"
export HBASE_REGIONSERVER_JMX_BASE="-Djava.rmi.server.hostname=$HOSTNAME -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false"
export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS $HBASE_MASTER_JMX_BASE -Dcom.sun.management.jmxremote.port=2084"
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS $HBASE_REGIONSERVER_JMX_BASE -Dcom.sun.management.jmxremote.port=2085"
export HBASE_SSH_OPTS="-p 22"
export HBASE_LOG_DIR=/data/logs/hbase
export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:+UseConcMarkSweepGC -XX:MaxMetaspaceSize=1024M  -XX:MetaspaceSize=512M -XX:MaxTenuringThreshold=15 -Xmx12g -Xms12g -Xmn5g -Xloggc:${HBASE_LOG_DIR}/hmaster_gc_%p_.log"
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:+UnlockExperimentalVMOptions -XX:MaxGCPauseMillis=100  -XX:InitiatingHeapOccupancyPercent=65 -XX:-ResizePLAB -XX:+ParallelRefProcEnabled  -XX:ConcGCThreads=8 -XX:G1NewSizePercent=8 -XX:G1HeapWastePercent=10  -XX:MaxTenuringThreshold=1 -XX:G1HeapRegionSize=32m -XX:G1MixedGCCountTarget=16 -XX:G1OldCSetRegionThresholdPercent=10 -Xmx8g -Xms8g -XX:MaxDirectMemorySize=5g -XX:OnOutOfMemoryError=/script/killparent.sh -Xloggc:${HBASE_LOG_DIR}/regionserver_gc_%p_.log"
export HBASE_PID_DIR=/BigData/run/hbase
export HBASE_MANAGES_ZK=false
export ASYNC_PROFILER_HOME=/BigData/run/hbase/async-profiler-1.8.3-linux-x64
[root@hadoop01 conf]#

        hbase-site.xml

[root@hadoop01 conf]# cat hbase-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>hbase.table.sanity.checks</name>
                <value>false</value>
        </property>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://jedy/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
                <name>hbase.tmp.dir</name>
                <value>/data/tmp/hbase</value>
        </property>
        <property>
                <name>hbase.zookeeper.property.clientPort</name>
                <value>12171</value>
        </property>
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>hadoop01.jedy.com.cn:12171,hadoop02.jedy.com.cn:12171,hadoop03.jedy.com.cn:12171</value>
        </property>
        <property>
                <name>zookeeper.recovery.retry</name>
                <value>3</value>
        </property>
        <property>
                <name>hbase.coprocessor.user.region.classes</name>
                <value>org.apache.hadoop.hbase.coprocessor.AggregateImplementation</value>
        </property>
        <property>
                <name>hbase.regionserver.ipc.address</name>
                <value>0.0.0.0</value>
        </property>
        <property>
                <name>hbase.master.ipc.address</name>
                <value>0.0.0.0</value>
        </property>
        <!-- 是否开启集群同步 -->
        <property>
                <name>hbase.replication</name>
                <value>true</value>
        </property>
        <!-- 大合并 默认关闭 -->
        <property>
                <name>hbase.hregion.majorcompaction</name>
                <value>0</value>
        </property>
        <!-- 一次Minor Compaction最小合并的HFile文件数量 -->
        <property>
                <name>hbase.hstore.compaction.min</name>
                <value>3</value>
        </property>
        <!-- 一次Minor Compaction最多合并的HFile文件数量 -->
        <property>
                <name>hbase.hstore.compaction.max</name>
                <value>30</value>
        </property>
        <!-- 小合并线程数 -->
        <property>
                <name>hbase.regionserver.thread.compaction.small</name>
                <value>5</value>
        </property>
        <!-- 大合并线程数 -->
        <property>
                <name>hbase.regionserver.thread.compaction.large</name>
                <value>5</value>
        </property>
        <property>
                <name>hbase.ipc.server.read.threadpool.size</name>
                <value>20</value>
        </property>
        <property>
                <name>hbase.regionserver.maxlogs</name>
                <value>64</value>
        </property>
        <property>
                <name>zookeeper.znode.parent</name>
                <value>/hbase/jedy</value>
        </property>
        <!-- 一旦某个region 中达到或超过阈值hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size 就会flush -->
        <property>
                <name>hbase.hregion.memstore.block.multiplier</name>
                <value>5</value>
        </property>
        <!-- memstore 使用策略 -->
        <property>
                <name>hbase.hregion.compacting.memstore.type</name>
                <value>NONE</value>
        </property>
        <!-- memstore大于该阈值就会触发flush -->
        <property>
                <name>hbase.hregion.memstore.flush.size</name>
                <value>134217728</value>
        </property>
        <!-- hbase会起一个线程定期flush所有memstore -->
        <property>
                <name>hbase.regionserver.optionalcacheflushinterval</name>
                <value>7200000</value>
        </property>
        <!-- 开启region 均衡 -->
        <property>
                <name>hbase.master.loadbalance.bytable</name>
                <value>true</value>
        </property>
        <!-- 开启本地读 -->
        <property>
                <name>dfs.domain.socket.path</name>
                <value>/data/store/hadoop/run/dfssocket</value>
        </property>
        <property>
                <name>dfs.client.domain.socket.data.traffic</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.client.read.shortcircuit</name>
                <value>true</value>
        </property>
        <!-- 将memstore 刷到磁盘的线程数 -->
        <property>
                <name>hbase.hstore.flusher.count</name>
                <value>3</value>
        </property>
        <!-- 某个store下面HFile高于多少会触发小合并 -->
        <property>
                <name>hbase.hstore.compactionThreshold</name>
                <value>3</value>
        </property>
        <!--hlog 同步到磁盘的线程个数 -->
        <property>
                <name>hbase.hlog.asyncer.number</name>
                <value>10</value>
        </property>
        <property>
                <name>hbase.region.store.parallel.put.limit</name>
                <value>0</value>
        </property>
        <!--读写请求各自一个队列,资源充足-->
        <property>
                <name>hbase.ipc.server.callqueue.handler.factor</name>
                <value>1</value>
        </property>
        <!-- 读写handler 一样多-->
        <property>
                <name>hbase.ipc.server.callqueue.read.ratio</name>
                <value>0.3</value>
        </property>
        <!-- appended 2022/06/06 11:37 -->
        <property>
                <name>hbase.quota.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>hbase.quota.refresh.period</name>
                <value>120000</value>
        </property>
        <property>
                <name>hbase.server.compactchecker.interval.multiplier</name>
                <value>1000</value>
        </property>
        <property>
                <name>dfs.client.read.shortcircuit.skip.checksum</name>
                <value>true</value>
        </property>
        <property>
                <name>hbase.hstore.min.locality.to.skip.major.compact</name>
                <value>0.7</value>
        </property>
        <property>
                <name>hbase.hstore.compaction.kv.max</name>
                <value>100</value>
        </property>
        <property>
                <name>hbase.hstore.compaction.max.size</name>
                <value>8589934592</value>
        </property>
        <property>
                <name>hbase.hstore.compaction.min.size</name>
                <value>67108864</value>
        </property>
        <property>
                <name>hbase.compaction.after.bulkload.enable</name>
                <value>true</value>
        </property>
        <property>
                <name>hbase.bucketcache.ioengine</name>
                <value>offheap</value>
        </property>
        <property>
                <name>hbase.bucketcache.size</name>
                <value>4096</value>
        </property>
        <property>
                <name>hbase.regionserver.global.memstore.size.lower.limit</name>
                <value>0.85</value>
        </property>

</configuration>

三、服务管理

        1、启动hmaster

su - hbase -c 'hbase-daemon.sh start master'

        2、启动regionserver

su - hdfs -c 'hbase-daemon.sh start regionserver'

 四、访问Web UI

        http://hadoop01.jedy.com.cn:16010

五、遇到的问题

        1、压缩问题

                hbase 2.3.7 + hadoop 3.3.1 存在snappy 压缩问题

        2、RS无法启动

        hbase 2.6.0 + hadoop 3.3.1 rs无法启动

        报错:

RS 启不来 报Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit. 

        解决方案:

移除hbase-env.sh中的 -XX:+UseG1GC

jeady82
关注
HBase 2.2.6安装及编程实践（基于deepin 20.1社区版&Hadoop 3.1.3）
CCH²¹的博客
04-08 884
参考资料：HBase2.2.2安装和编程实践指南 厦大数据库实验室博客 配置过程中所需资源： HBase 2.2.6安装文件链接（提取码：of9o） 目录安装并配置HBase 2.2.6HBase 2.2.6安装HBase配置单机模式配置伪分布式模式配置编程实践利用HBase Shell命令HBase Java API编程 安装并配置HBase 2.2.6 HBase 2.2.6安装 HBase 2.2.6的安装文件保存在/home/hadoop/Downloads/目录下。 解压hbase-2.2.6.
hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz
02-17
Hadoop-2.6.0.tar.gz是Apache官方发布的Hadoop 2.6.0源码包，包含了Hadoop的核心组件，如HDFS（Hadoop Distributed File System）、YARN以及MapReduce。用户可以通过解压此文件，编译安装来搭建自己的Hadoop环境，...
2.6 HBase优化
BF-Lone Silver Wind 的博客
12-01 178
1. 表设计 1.1 预分区 (… partition)   默认情况: 建表时会自动创建一个region分区 数据都会写入region 直到足够大才切分   预分区: 预先创建一些空的 resions 可以提高批量写入速度 减少初期单点压力 做到集群内负载均衡 但是预分区的区域一定要良好规划,否则会导致即使预分区数据也只会写到一个分区 1.2 rowkey ...
Hadoop-2.6.0伪分布--安装配置hbase-0.99
小猪猪and小马马的博客
09-03 412
1、2、分别为hadoop下载和安装 3、解压hbase：   结果：   4、修改hbase 文件权限为一般用户权限：     5、设置环境变量： 配置内容： 保存配置：   6、进入配置文件目录：   7、配置 hbase-env.sh 文件：   配置内容：   8、配置 hbase-site.xml ：
Hadoop-2.6.0伪分布--安装配置hbase
鲍礼彬的CSDN博客 ~_~
01-27 4971
Hadoop-2.6.0伪分布--安装配置hbase 1、用到的hadoop与hbase：   2、安装hadoop： 具体安装看这篇博文： http://blog.csdn.net/baolibin528/article/details/42939477   hbase所有版本下载 http://archive.apache.org/dist/hbase/ 3、
hadoop2.6集群下Zookeeper与Hbase的安装与配置
owen-li
04-13 2478
1下载zookeeper-3.4.5.tar.gz，hbase-1.0.1.1.tar.gz安装包 解压ZooKeeper安装包，并将解压后的文件夹名称改为zookeeper： (1) 上传ZooKeeper安装包到 /usr/local/hadoop-2.6.0/，我这里使用的是3.4.5版本： (2) 解压ZooKeeper安装包，并将解压后的文件夹名称改为zookeeper 执行命令
hadoop-2.6.0-cdh5.14.2.tar.gz
05-12
标题中的"hadoop-2.6.0-cdh5.14.2.tar.gz"是一个针对Apache Hadoop的软件包，具体来说是CDH（Cloudera Distribution Including Apache Hadoop）5.14.2版本，它基于Hadoop 2.6.0。CDH是由Cloudera公司提供的一个开源...
hadoop-2.6.0
07-24
在实际应用中，使用Hadoop 2.6.0时，我们需要配置`hadoop-2.6.0`目录下的相关配置文件，如`core-site.xml`（核心配置）、`hdfs-site.xml`（HDFS配置）、`mapred-site.xml`（MapReduce配置）和`yarn-site.xml`（YARN...
hadoop-2.6.0-cdh5.7.0.tar.gz
05-04
在这个“hadoop-2.6.0-cdh5.7.0.tar.gz”压缩包中，我们可以预期找到的是一个完整的Hadoop 2.6.0 CDH5.7.0安装包。这个安装包通常会包含以下几个关键部分： 1. **Hadoop Distributed File System (HDFS)**：HDFS是...
hadoop-2.6.0-cdh5.7.0版本.zip
03-25
6. **Hadoop安装与配置**: 安装Hadoop-2.6.0-cdh5.7.0版本需要配置集群环境，包括设置环境变量、配置集群节点间通信、初始化HDFS和YARN等。同时，还需要考虑安全性、监控和性能优化等方面。 7. **Hadoop应用开发**:...
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置 [复制链接] 韩克拉玛寒 韩克拉玛寒 当前离线 积分2439. 窥视卡 雷达
张伟的专栏
08-08 1346
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置 [复制链接]     韩克拉玛寒 韩克拉玛寒 当前离线 积分2439 窥视卡 雷达卡 40 主题
hadoop2.6.5和Hbase1.2.6单机搭建
疾风sxp的博客
11-16 2549
1.hadoop单机搭建 1.1.从官网中下载hadoop，笔者使用的是2.6.5版本的hadoop，在/usr/local/下创建hadoop目录，并将hadoop-2.6.5.tar.gz解压到hadoop目录下,创建tmp，hdfs目录 # mkdir /usr/local/hadoop # cd /usr/local/hadoop # tar -zxvf hadoop-2.6.5.t
hadoop2.6.0中配置hbase比较简单的
weixin_43319279的博客
01-17 641
我没有配置hbase的ha。我使用的是集群中 的zk，而不是hbase中自带的zk 下载好 hbase 解压 配置hbase-env.sh javahome zk 配置hbase-site.sh 配置全局变量 export hbasehome 分发 scp -r hbase目录 hadoop02（目标主机）：路径 启动集群 start-hbase.sh 查看webui hadoo...
Hive和Hbase的区别
Casual_Lei的博客
09-07 1298
特性HiveHBase数据模型类似 RDBMS，使用表结构NoSQL，基于列的稀疏表存储方式基于 HDFS，数据以文件存储基于 HDFS，列存储查询语言Java API，支持 SQL-like 查询适用场景批处理、大规模数据分析实时数据访问、随机读写数据更新不支持频繁更新，只适合批处理支持频繁读写和实时更新实时性非实时，延迟较高实时性好，低延迟典型应用数据仓库、批量分析实时应用、快速读写。
4.网络编程
最新发布
weixin_45476535的博客
09-14 213
程序注册端口：1024-49151。单个协议下，端口号不能冲突。公有端口0-1023。
TiDB 数据库核心原理与架构_Lesson 01 TiDB 数据库架构概述课程整理
TiDB 社区干货传送门
09-12 1070
作者： 尚雷5580 原文来源： https://tidb.net/blog/beeb9eaf ...
Oracle EBS中AR模块的财务流程概览
qq_36620997的博客
09-14 541
AR模块的财务流程概览
Oracle 12c 及以上版本补丁更新说明及下载方法
zd1320732的专栏
09-10 315
参考下面的文章，会对补丁更新的流程有一定的了解。
hadoop-2.6.0-cdh5.14.0
12-27
Hadoop-2.6.0-cdh5.14.0是Cloudera公司推出的基于Apache Hadoop的分布式存储和计算框架版本。它是一个开源的软件框架，用于处理大规模数据的存储和分析。Hadoop-2.6.0-cdh5.14.0主要包含了HDFS（Hadoop分布式文件系统）和YARN（资源调度和管理系统）这两个核心模块，以及MapReduce计算框架和其他相关工具。 Hadoop-2.6.0-cdh5.14.0版本的主要特点是在HDFS和YARN模块上进行了一些改进和优化，提升了系统的性能和稳定性。同时，它还加入了一些新的功能和工具，比如支持透明数据加密、NameNode HA（高可用性）、支持Apache HBase的快照等。 除了Hadoop核心模块之外，Hadoop-2.6.0-cdh5.14.0还集成了一些与Hadoop配合使用的其他项目，比如Hive（数据仓库）、Pig（数据流处理）、HBase（NoSQL数据库）、Sqoop（数据传输工具）等，这些工具都可以与Hadoop无缝集成，为用户提供了丰富的数据处理和分析功能。 总的来说，Hadoop-2.6.0-cdh5.14.0版本是一个功能强大、性能稳定的大数据处理平台，可以满足企业级的大规模数据处理需求。它不仅提供了分布式存储和计算能力，还提供了丰富的生态系统和工具，可以帮助用户更方便地进行数据的存储、处理和分析。因此，它被广泛应用于各种大数据场景下，包括互联网、金融、电商、物流等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值