HBase写入性能及改造——multi-thread flush and compaction(续：详细测试数据)

最新推荐文章于 2022-10-24 21:24:17 发布
置顶 VIP文章 最新推荐文章于 2022-10-24 21:24:17 发布
阅读量9.9k 收藏 3
点赞数
分类专栏： HDFS HBase 文章标签： hbase 测试 集群 file server up
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kalaamong/article/details/7290192
版权

接上文啊：

测试机性能
CPU
16* Intel(R) Xeon(R) CPU           E5620  @ 2.40GHz
MEMORY 48GB
DISK 12*SATA 2TB
NET  4*1Gb Ethernet

测试数据:

类型 国内某视频网站近半年用户访问日志
结构 一行九列，包括用户访问页，关键词及其它用户信息。对应HBase一个family下9个column，一行120到180字节
数据量 每次测试写入10亿条数据，原始数据约110GB，写到HBase中一张不加压缩的表里HDFS中单副本约480GB （dus结果）

集群结构

RegionServer 1个 hostname: data2
DataNode  5个hostname: da
最低0.47元/天 解锁文章
牛_plus_plus
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Spring-Boot-HBase-RESTful:Spring-Boot-Hbase-RESTful
05-15
Spring-Boot-HBase-RESTful Spring-Boot-HBase-RESTful ##安装 brew install hadoop hbase zookeeper ## HBase入门 start-hbase.sh start sudo /usr/local/Cellar/zookeeper/3.4.8/bin/zkServer start 参考 示例代码： : HBase + JPA / JPO： : OSX上的HBase / Pig / Python快速入门： ：
HBase写性能优化策略
04-18
HBase写性能优化策略HBase写性能优化策略HBase写性能优化策略
hbase-custom-replication-endpoint-example:hbase-custom-replication-endpoint-example
06-30
HBase 自定义复制端点示例 概述 HBase 0.98.9 添加了创建自定义复制端点的功能。 这是一个关于如何创建和使用自定义复制端点的示例。 用法 簇 mvn clean package 将 hbase.replication=true 添加到 hbase-site.xml 将 jar 复制到每个区域服务器上的 lib 目录 重启区域服务器 java -cp $(hbase classpath):target/hbase-custom-replication-endpoint-example-1.0-SNAPSHOT.jar com.avalonconsult.hbase.utility.AddCustomReplicationEndpoint --peer-name customreplicationendpoint --class-name com.avalonconsult
spring-boot-starter-hbase:Spring Boot Starter HBase的
05-09
项目介绍 自定义的spring-boot的hbase starter，为hbase的query和更新等操作提供简易的api并集成spring-boot的auto configuration 版本 本项目版本 hbase版本 1.0.0 hbase1.1.2 打包 修改相关的maven私服地址 gradle clean install 使用方式 依赖 compile "org.banyan.spring.boot:spring-boot-starter-hbase:1.0.0" 集成 在spring-boot项目的application.properties文件中加入spring.data.hbase.quorum,spring.data.hbase.rootDir,spring.data.hbase.nodeParent配置项，并赋予正确的值 使用 query 将上述配置项赋予正确的值 d
解析大数据基准测试——TPC-HorTPC-DS
03-03
摘要：为了方便企业选择合适的大数据测试基准，本文将在分析总结现有成果的基础，进一步讨论大数据测试基准应该具有的要素；并以此为基础，对比现有的大数据测试基准；然后重点讨论TPC-DS测试基准。【编者按】基于业内对大数据技术的需求，各种基于开源技术的商业产品得到了长足的发展。然而对于用户来说，如何才能客观地比较不同的数据管理系统，基准测试的研究也被提了出来。本文中，谭磊讲解了大数据测试基准应该具有的要素，并以此为基础对比了现有的大数据测试基准，然后重点讨论TPC-DS测试基准。随着开源Hapdoop、Map/Reduce、Spark、HDFS、HBASE等技术的商用化，大数据管理技术得到了突飞猛进
HBase读写性能解析以及提升性能方案
。。。。。。
03-15 4039
HBase写流程原理 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lpCulF9X-1615795053119)(C:\Users\Administrator\Pictures\Saved Pictures\QQ截图20210223163312.png)] 1）Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。 2）访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespa
提升HBase写性能
Sabrina & Joshua Java Ivory Tower
02-16 277
最后更新于: 2013/7/1 --------------------------------------------------------------------------------------------------------------- 本文主要介绍软件层面的性能调优。故，在此之前，请检查硬件状况。硬盘推荐SSD，一般SATA即可。网络千兆以上。可以安装Ganglia等工...
HBase表读写效率的技巧（持续更新）
文武傲群雄，彳亍定江山
02-28 1185
一. 建表技巧 1. 合理设计列族 一张HBase表的列族数量最好控制在三个以内，因为当一个列族的MemStore中的数据量达到阈值时，会引起同一个region的所有columnFamily的MemStore进行flush操作，即使其中某些列族MemStore中的数据量还很小。因此，如果有很多列族的话，会产生许多小文件，可能会引起很多不必要的flush和compact操作，导致不必要的I/O负载。...
【分布式数据库】HBase读写性能调优（一）
康师傅没有眼泪
10-24 3924
HBase关键参数配置如果同时存在读和写的操作，这两种操作的性能会相互影响。如果写入导致的flush和Compaction操作频繁发生，会占用大量的磁盘IO操作，从而影响读取的性能。如果写入导致阻塞较多的Compaction操作，就会出现Region中存在多个HFile的情况，从而影响读取的性能。所以如果读取的性能不理想的时候，也要考虑写入的配置是否合理。
HBase原理 | HBase Compaction介绍与参数调优
Focus on Lakehouse
05-22 626
我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性...
大数据安全-kerberos技术-hbase安装包，hbase版本：hbase-2.2.6-bin.tar.gz
最新发布
06-07
大数据安全-kerberos技术-hbase安装包，hbase版本：hbase-2.2.6-bin.tar.gz
hbase-meta-repair-hbase-2.0.2.jar
12-16
HBase 元数据修复工具包。 ①修改 jar 包中的application.properties，重点是 zookeeper.address、zookeeper.nodeParent、hdfs....③开始修复 `java -jar -Drepair.tableName=表名 hbase-meta-repair-hbase-2.0.2.jar`
记一次hbase写入慢排查分析
kobexzf的博客
07-07 1580
版本：1.2.6现象：hbase写入耗时长，单机slow put数量上升，单机flush慢，内存达到高水位block request至高水位下(内存达到低水位会不断flush至低水位下)，目前24G内存，高水位9.6G(240.4)，低水位7.68G(9.60.8)具体分析：1 flush慢 并非写入hdfs慢，怀疑是scan耗时太长，甚至可能死锁了2 flush的size大 很好理解，并不是说达到128MB立即就flush了，是扔到flush队列了，flush队列可能有普通region的flush(队列，
HBase Compaction详解
热门推荐
赵英超的博客
03-23 1万+
RegionServer维护Master分配给它的region，处理对这些region的IO请求,负责切分在运行过程中变得过大的region, 由于集群性能（ 分配的内存和磁盘是有限的 ）有限的，那么HBase单个RegionServer的region数目肯定是有上限的。Region数目上限     RegionServer的region数目取决于memstore的内存使用，每个region拥有一...
HBase写入性能分析及改造—multi-thread flush and compaction(约能提高两到三倍吞吐量，带压缩测试)
hua840812的专栏
04-28 1931
转自：http://blog.csdn.net/kalaamong/article/details/7275242 首先描述一下现象 最近对HDFS底层做了许多优化，包括硬件压缩卡，内存盘及SSD。 在出测试报告时发现老问题，HBase写入速度不稳定，这个大家都习以为常了吧，就是压测时，只要row size稍小一点，不管你怎么压，HBase的RegionServe
HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用
牛_plus_plus的专栏
03-06 1万+
首先续上篇测试： 经过上一篇文章中对代码及参数的修改，HBase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。 本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不开Hlog）。 上篇测试内容： 详情　http://blog.csdn.net/kalaamong/article/details/72
HBase 参数设置
Turk的专栏
10-21 680
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、GC二、RS 参数三、BlockCache四、flush 参数五、Split 参数 前言 转载 https://lihuimintu.github.io/2019/08/15/HBase-tuning/ 一、GC HBase CMS GC 配置参考 二、RS 参数 hbase.server.thread.wakefrequency 该值默认是 10 秒，它影响着 Flush 和 Compaction FlushHand
boostport/hbase-phoenix-all-in-one:2.0-5.0使用
05-21
boostport/hbase-phoenix-all-in-one:2.0-5.0 是一个包含 HBase 和 Phoenix 的 Docker 镜像，可以用来快速搭建测试环境。 使用方法如下： 1. 安装 Docker。 2. 在终端中执行以下命令以下载并启动镜像： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值