CDH版HBase的压测测试 YCSB

最新推荐文章于 2024-05-15 10:45:02 发布
最新推荐文章于 2024-05-15 10:45:02 发布
阅读量527 收藏 2
点赞数 1
文章标签： hbase 压力测试 时序数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BOOLTechnology/article/details/120782452
版权

前置介绍

YCSB 是一个基准测试系统的框架

https://github.com/brianfrankcooper/YCSB github地址

做压测的时候下载自己需要的单个压缩包就好了

Release YCSB 0.17.0 · brianfrankcooper/YCSB · GitHub 下载地址

压测步骤如下:

  1. 设置数据库系统进行测试

  2. 选择合适的数据库接口层

  3. 选择合适的工作量

  4. 选择适当的运行时参数（客户端线程数、目标吞吐量等）

  5. 加载数据

  6. 执行工作量

总结 就是找到合适的组件或者直接使用JDBC连接 然后设置配置文件 调整想要测试的数据类型和大小和读写比例

具体使用文档在YCSB的解压的插件包中都有

当前YCSB支持的数据库

最低0.47元/天 解锁文章
布尔科技技术团队
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH大数据平台搭建之HBASE集群搭建
qq_41924766的博客
06-16 1003
CHD大数据平台搭建之HBASE集群搭建一、集群规划二、下载三、安装及配置四、启动五、jps验证 一、集群规划 参考CHD大数据平台搭建之集群规划 二、下载 1.官网下载 2.网盘下载 提取码：cdh5 网盘是chd配套版本，官网的事apache版本 三、安装及配置 1、解压 tar -zxvf hbase-1.2.0-cdh5.7.6.tar.gz -C /opt/modules/ 2、新建文件夹 mkdir -p /opt/modules/hbase-1.2.0-cdh5.7.6/datas 3
ycsb测试hbase需要调整的参数
知识的力量
02-02 728
50% write  ，50% update    2000万数据 1. 修改的参数 hbase: hbase_master_heap 20G hbase_regionserver_heap 24G hfile.block.cache.size  0.2 hbase.regionserver.global.memstore.size  0.6 hbase.regionserver.h
CDH 集成HBase 使用和配置
baidu_27503999的博客
01-21 3848
habse 使用和配置
2024年最新HBase集群环境搭建(CDH版本)_hbase-client 2，2024年最新搞懂开源框架设计思想真的这么重要吗
最新发布
2401_84904661的博客
05-15 240
将压缩包上传到node01服务器的/export/softwares路径下并解压。
cdh集群搭建(6.3)
前方的路在刚开始
07-19 3892
6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....
Hbase核心内容总结
浅谈
06-29 896
Hbase的角色功能、Hbase的读写流程、Hbasede LSM模型、Hbase与Mapreduce的集成等
CDH-Hbase的安装1
08-03
在本文中，我们将深入探讨HBase的安装过程及其在CDH环境中的集成。HBase是Apache Hadoop生态系统中的一个核心组件，它是一个分布式、版本化的、支持列族的NoSQL数据库，特别适合处理大规模的数据存储。CDH（Cloudera...
YCSB之HBase压力测试.pdf
11-01
本文讲解如何安装和配置YCSB，如何使用YCSB给Hbase加载测试数据，如何使用YCSB命令测试Hbase读写性能。主要解释了各个命令行参数的作用。
hbase+ycsb工具
08-30
使用YCSB测试HBase性能时，你需要进行以下步骤： 1. **安装与配置**：首先确保你已经安装了HBase和Hadoop，并正确配置了环境。YCSB也需要安装，并且要下载对应HBase版本的绑定包。 2. **准备数据**：YCSB提供了...
HADOOP&ZK&HBASE&YCSB集群搭建验证
08-21
HADOOP&ZOOKEEPER&HBASE&YCSB集群搭建验证 HADOOP&ZOOKEEPER&HBASE&YCSB集群搭建验证是大数据处理和存储的关键技术栈。该技术栈主要包括四个组件：HADOOP、ZOOKEEPER、HBASE 和 YCSB。了解这些技术的搭建和验证是大...
CDH6.3.2-Poenix5-hbase2.1
04-01
《CDH6.3.2、Poenix5与HBase2.1：大数据处理的关键组件》 在大数据处理领域，Cloudera Data Hub (CDH) 是一个广泛使用的开源平台，它提供了对Apache Hadoop生态系统的全面支持。CDH6.3.2是其重要的版本之一，它包含...
hbase-1.2.0-cdh5.9.3分布式高可用部署
linux运维工程师的博客
09-12 734
hbase分布式，数据最终会落到 hdfs 文件系统中，所以先要部署 hdfs ，详见文档 hadoop-2.6.0-cdh5.9.3分布式高可用部署。hdfs 部署完毕后，就可以部署 hbase 集群了。 hbase开启 snappy 压缩功能的话，请查看文档 https://blog.csdn.net/qq_31547771/article/details/100564415 首先从cd...
hbase高可用集群部署（cdh）
weixin_33895516的博客
05-10 698
一、概要本文记录hbase高可用集群部署过程，在部署hbase之前需要事先部署好hadoop集群，因为hbase的数据需要存放在hdfs上，hadoop集群的部署后续会有一篇文章记录，本文假设hadoop集群已经部署好，分布式hbase集群需要依赖zk，并且zk可以是hbase自己托管的也可以是我们自己单独搭建的，这里我们使用自己单独搭建的zk集群，我们的hadoop...
HBase(三): HBase(CDH)生产调优
Java大数据
11-14 3406
文章目录基于 MemStore flush触发的生产调优memstore级别限制:region级别限制：RegionServer 级别限制 （影响最大）：Hlog级别限制定期级别限制手动级别HBase 合并合并 Compaction影响：触发条件: 基于 MemStore flush触发的生产调优 memstore其实是一个内存结构存储，一个CF对应一个memstore。HBase触发flus...
HBase探索篇 _ 单节点多RegionServer部署与性能测试
wolf_333的博客
07-17 1044
目录导读 文章目录目录导读1. 引言2. 合理的Region数量3. Region数量优化3.1提高RegionServer的堆内存3.2 单节点多Region Server的部署4. 单RS、多RS、单RS大堆集群环境的YCSB压测数据对比5. 总结6. 参考链接 1. 引言 随着集群中总的Region数持续增长，每个节点平均管理的Region数已达550左右，某些大表的写入流量一上来，Region Server就会不堪重负，相继挂掉。 在HBase中，Region的一个列族对应一个MemStore，通常
Hbase运维手册-CDH
02-17 657
1.region情况 需要检查 1. region的数量（总数和每台regionserver上的region数） 2. region的大小 如果发现异常可以通过手动merge region和手动分配region来调整 从CDH前台和master前台以及regionServer的前台...
CDH中配置启用 HBase 授权及测试
storm_fury
09-24 2014
HBase启用授权配置 Hbase -> 配置 -> 搜索 auth -> 勾选 HBase 安全授权 -> 保存更改 Hbase -> 配置 -> 高级 -> 搜索 hbase-site.xml -> 添加配置 -> 保存更改 <property> <name>hbase.security.exec....
java hbase创建_海量数据存储技术之HBase：使用HBase Shell操纵HBase
weixin_39548740的博客
11-21 310
Apache HBase Shell是JRuby的IRB，并在此基础上加入了HBase特有的命令。JRuby是用Java实现的Ruby解释器。通过JRuby，你可以在JVM上直接运行Ruby程序，调用Java的类库。IRB即interactive ruby，交互式Ruby。运行HBase Shell：$ ./bin/hbase shell例如，我使用CDH搭建的Hadoop集群，并且安装了HBas...
cdh监控hbase
07-28
要监控 CDH 中的 HBase，您可以使用以下方法之一： 1. Cloudera Manager：Cloudera Manager 是 Cloudera 提供的集群管理工具，可以用于监控和管理 HBase。您可以通过 Cloudera Manager 的 Web 界面查看 HBase 的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值