mongo+ycsb性能测试及线程数分析

最新推荐文章于 2023-07-20 14:43:09 发布
最新推荐文章于 2023-07-20 14:43:09 发布
阅读量973 收藏 2
点赞数 1
分类专栏： 数据库 文章标签： mongodb 数据库 nosql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36967200/article/details/126195544
版权

一、mongo安装及压测ycsb安装

mongodb下载官网
https://www.mongodb.com/

mongo下载完对应tar包后，通过tar -xvf命令解压至/usr/local下

mv tar包名称 mongodb
cd /mongodb
mkdir  /data/db
mkdir  /data/log
vi mongodb.conf
#新建配置文件，配置如下
dbpath=/usr/local/mongodb/data/db
logpath=/usr/local/mongodb/data/log/mongodb.log
logappend=true
port=27017
auth=false
fork=true
bind_ip=0.0.0.0

启动mongo

/usr/local/mongod/bin/mongod --config /usr/local/mongod/conf/mongodb.conf

ycsb0.17下载地址

https://download.csdn.net/download/dong0928/12285659?utm_source=iteye_new

二、ycsb加载与负载测试

#官方文档 Now you are ready to run! First, use the asynchronous driver to load the data:

解压后ycsb后

cd ycsb/workloads

不同的工作负载模式不同对应增删改查的操作所占百分比不同
ycsb的workloads目录下保存了6种不同的workload类型，代表了不同的压测负载类型，详细的介绍列在下面：
workloada：混合了50%的读和50%的写； workloadb：Read mostly
workload，混合了95%的读和5%的写，该workload侧重于测试集群的读能力；
workloadc：Readonly，100%只读
workloadd：Read latest workload，插入数据，接着就读取这些新插入的数据
workloade：Short ranges，短范围scan，不同于随机读，每个测试线程都会去scan一段数据
workloadf：Read-modiy-wirte，读改写，客户端读出一个记录，修改它并将被修改的记录返回

mv workloada back_workloada
vi workloada
#配置如下：

##连接的url及db地址
mongodb.url=mongodb://10.37.0.101/
mongodb.database=ycsb

##初始加载数据数，第一次可以100000次少点便于验证
recordcount=100000000

##操作次数
operationcount=1000000

##（要使用的工作负载类）
workload=site.ycsb.workloads.CoreWorkload

##（默认值是1，应该读取读取所有字段（true），只读取一个（false））
readallfields=true

##查询操作所占百分比
readproportion=0.5

##更新操作所占百分比
updateproportion=0.5

##扫描操作所占百分比
scanproportion=0

##写入操作所占百分比
insertproportion=0

requestdistribution=zipfian

threadcount=100

fieldlength=200

首先进行加载数据
./bin/ycsb load mongodb -s -P workloads/workloada > outputLoad.txt
Then, run the workload:
./bin/ycsb run mongodb -s -P workloads/workloada > outputRun.txt

避免重复写入主键冲突
-p mongodb.upsert=true
线程数
-p threads 10

在这里插入图片描述
mongo库已插入千万条数据
在这里插入图片描述

测试结果分析：
在这里插入图片描述

#花费时间3470.464s
[OVERALL], RunTime(ms), 3470464
#数据库每秒操作次数为2881.4590786707486
[OVERALL], Throughput(ops/sec), 2881.4590786707486
[TOTAL_GCS_PS_Scavenge], Count, 113
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 16027
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.4618114465385608
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 113
[TOTAL_GC_TIME], Time(ms), 16027
[TOTAL_GC_TIME_%], Time(%), 0.4618114465385608
#清理操作操作数、单平均延迟、最小延迟、最大延迟95/99百分位
[CLEANUP], Operations, 100
[CLEANUP], AverageLatency(us), 3373.35
[CLEANUP], MinLatency(us), 1
[CLEANUP], MaxLatency(us), 336895
[CLEANUP], 95thPercentileLatency(us), 14
[CLEANUP], 99thPercentileLatency(us), 90
#插入操作操作数、平均延迟、最小延迟、最大延迟，95/99百分位
[INSERT], Operations, 10000000
[INSERT], AverageLatency(us), 28241.2937591
[INSERT], MinLatency(us), 120
[INSERT], MaxLatency(us), 298057727
[INSERT], 95thPercentileLatency(us), 58623
[INSERT], 99thPercentileLatency(us), 391423
[INSERT], Return=OK, 10000000

load完后，现在进行run测试

./bin/ycsb run mongodb -P workloads/workloada > run.log
vi run.log

结果如下：
在这里插入图片描述

[OVERALL], RunTime(ms), 8125
[OVERALL], Throughput(ops/sec), 12307.692307692309
[TOTAL_GCS_PS_Scavenge], Count, 6
[TOTAL_GC_TIME], Time(ms), 224
[TOTAL_GC_TIME_%], Time(%), 2.756923076923077
[READ], Operations, 49931
[READ], AverageLatency(us), 5412.5758146241815
[READ], MinLatency(us), 192
[READ], MaxLatency(us), 412927
[READ], 95thPercentileLatency(us), 15295
[READ], 99thPercentileLatency(us), 89919
[READ], Return=OK, 49931
[CLEANUP], Operations, 100
[CLEANUP], AverageLatency(us), 1566.47
[CLEANUP], MinLatency(us), 0
[CLEANUP], MaxLatency(us), 156287
[CLEANUP], 95thPercentileLatency(us), 3
[CLEANUP], 99thPercentileLatency(us), 298
[UPDATE], Operations, 50069
[UPDATE], AverageLatency(us), 4083.3765204018455
[UPDATE], MinLatency(us), 223
[UPDATE], MaxLatency(us), 420095
[UPDATE], 95thPercentileLatency(us), 11199
[UPDATE], 99thPercentileLatency(us), 61503
[UPDATE], Return=OK, 50069

可以看出load进行插入的操作，run进行read、update的操作，并且按照配置文件的0.5%即5+5=10万条查询及更新吞吐量为12307

这时候我们去改变线程数量再次以此配置进行测试

最佳线程数目 = （（线程等待时间+线程CPU时间）/线程CPU时间 ）* CPU数目

./bin/ycsb run mongodb -P workloads/workloada -threads 100

[OVERALL], RunTime(ms), 264990
[OVERALL], Throughput(ops/sec), 377.3727310464546
[TOTAL_GCS_PS_Scavenge], Count, 6
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 148
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.05585116419487528
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 6
[TOTAL_GC_TIME], Time(ms), 148
[TOTAL_GC_TIME_%], Time(%), 0.05585116419487528
[READ], Operations, 50167
[READ], AverageLatency(us), 8718.358542468157
[READ], MinLatency(us), 246
[READ], MaxLatency(us), 5517311
[READ], 95thPercentileLatency(us), 12839
[READ], 99thPercentileLatency(us), 40255
[READ], Return=OK, 50167
[CLEANUP], Operations, 100
[CLEANUP], AverageLatency(us), 220.4
[CLEANUP], MinLatency(us), 1
[CLEANUP], MaxLatency(us), 21711
[CLEANUP], 95thPercentileLatency(us), 5
[CLEANUP], 99thPercentileLatency(us), 154
[UPDATE], Operations, 49833
[UPDATE], AverageLatency(us), 11637.081632653062
[UPDATE], MinLatency(us), 259
[UPDATE], MaxLatency(us), 5713919
[UPDATE], 95thPercentileLatency(us), 8879
[UPDATE], 99thPercentileLatency(us), 42143
[UPDATE], Return=OK, 49833

线程数为3时3380

./bin/ycsb run mongodb -P workloads/workloada -threads 3

[OVERALL], RunTime(ms), 29581
[OVERALL], Throughput(ops/sec), 3380.548324938305
[TOTAL_GCS_PS_Scavenge], Count, 4
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 60
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.2028328994962983
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 4
[TOTAL_GC_TIME], Time(ms), 60
[TOTAL_GC_TIME_%], Time(%), 0.2028328994962983
[READ], Operations, 50235
[READ], AverageLatency(us), 590.9062605752961
[READ], MinLatency(us), 188
[READ], MaxLatency(us), 834559
[READ], 95thPercentileLatency(us), 617
[READ], 99thPercentileLatency(us), 1039
[READ], Return=OK, 50235
[CLEANUP], Operations, 3
[CLEANUP], AverageLatency(us), 329483.0
[CLEANUP], MinLatency(us), 4
[CLEANUP], MaxLatency(us), 988671
[CLEANUP], 95thPercentileLatency(us), 988671
[CLEANUP], 99thPercentileLatency(us), 988671
[UPDATE], Operations, 49765
[UPDATE], AverageLatency(us), 626.2020697277203
[UPDATE], MinLatency(us), 217
[UPDATE], MaxLatency(us), 1181695
[UPDATE], 95thPercentileLatency(us), 634
[UPDATE], 99thPercentileLatency(us), 1002
[UPDATE], Return=OK, 49765

线程数为4时5535

./bin/ycsb run mongodb -P workloads/workloada -threads 4

[OVERALL], RunTime(ms), 18065
[OVERALL], Throughput(ops/sec), 5535.566011624689
[TOTAL_GCS_PS_Scavenge], Count, 4
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 66
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.36534735676722946
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 4
[TOTAL_GC_TIME], Time(ms), 66
[TOTAL_GC_TIME_%], Time(%), 0.36534735676722946
[READ], Operations, 49992
[READ], AverageLatency(us), 460.93799007841255
[READ], MinLatency(us), 185
[READ], MaxLatency(us), 268287
[READ], 95thPercentileLatency(us), 560
[READ], 99thPercentileLatency(us), 926
[READ], Return=OK, 49992
[CLEANUP], Operations, 4
[CLEANUP], AverageLatency(us), 1521.75
[CLEANUP], MinLatency(us), 5
[CLEANUP], MaxLatency(us), 6039
[CLEANUP], 95thPercentileLatency(us), 6039
[CLEANUP], 99thPercentileLatency(us), 6039
[UPDATE], Operations, 50008
[UPDATE], AverageLatency(us), 496.3823788193889
[UPDATE], MinLatency(us), 216
[UPDATE], MaxLatency(us), 828927
[UPDATE], 95thPercentileLatency(us), 582
[UPDATE], 99thPercentileLatency(us), 953
[UPDATE], Return=OK, 50008

那么线程设置为5呢,2277

./bin/ycsb run mongodb -P workloads/workloada -threads 5

[OVERALL], RunTime(ms), 43899
[OVERALL], Throughput(ops/sec), 2277.956217681496
[TOTAL_GCS_PS_Scavenge], Count, 4
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 184
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.4191439440533953
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 4
[TOTAL_GC_TIME], Time(ms), 184
[TOTAL_GC_TIME_%], Time(%), 0.4191439440533953
[READ], Operations, 49986
[READ], AverageLatency(us), 1507.791441603649
[READ], MinLatency(us), 185
[READ], MaxLatency(us), 2721791
[READ], 95thPercentileLatency(us), 518
[READ], 99thPercentileLatency(us), 859
[READ], Return=OK, 49986
[CLEANUP], Operations, 5
[CLEANUP], AverageLatency(us), 653.6
[CLEANUP], MinLatency(us), 3
[CLEANUP], MaxLatency(us), 3235
[CLEANUP], 95thPercentileLatency(us), 3235
[CLEANUP], 99thPercentileLatency(us), 3235
[UPDATE], Operations, 50014
[UPDATE], AverageLatency(us), 2588.507597872596
[UPDATE], MinLatency(us), 210
[UPDATE], MaxLatency(us), 2373631
[UPDATE], 95thPercentileLatency(us), 529
[UPDATE], 99thPercentileLatency(us), 885
[UPDATE], Return=OK, 50014

二分法查找，当然因为是单核低配虚拟机，直接按照2个thread来测就可以了，实际物理机会有明显的线程数量差量变化，会呈现高斯分布，中间有一个最适合的线程数

./bin/ycsb run mongodb -P workloads/workloada -threads 2

[OVERALL], RunTime(ms), 32385
[OVERALL], Throughput(ops/sec), 3087.8493129535277
[TOTAL_GCS_PS_Scavenge], Count, 4
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 84
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.25937934228809634
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 4
[TOTAL_GC_TIME], Time(ms), 84
[TOTAL_GC_TIME_%], Time(%), 0.25937934228809634
[READ], Operations, 49916
[READ], AverageLatency(us), 515.6664596522157
[READ], MinLatency(us), 172
[READ], MaxLatency(us), 694271
[READ], 95thPercentileLatency(us), 523
[READ], 99thPercentileLatency(us), 945
[READ], Return=OK, 49916
[CLEANUP], Operations, 2
[CLEANUP], AverageLatency(us), 1568.0
[CLEANUP], MinLatency(us), 21
[CLEANUP], MaxLatency(us), 3115
[CLEANUP], 95thPercentileLatency(us), 3115
[CLEANUP], 99thPercentileLatency(us), 3115
[UPDATE], Operations, 50084
[UPDATE], AverageLatency(us), 665.4541370497564
[UPDATE], MinLatency(us), 203
[UPDATE], MaxLatency(us), 1405951
[UPDATE], 95thPercentileLatency(us), 550
[UPDATE], 99thPercentileLatency(us), 955
[UPDATE], Return=OK, 50084

线程数为6时

[OVERALL], RunTime(ms), 52916
[OVERALL], Throughput(ops/sec), 1889.7875878751229
[TOTAL_GCS_PS_Scavenge], Count, 4
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 114
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.215435785017764
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 4
[TOTAL_GC_TIME], Time(ms), 114
[TOTAL_GC_TIME_%], Time(%), 0.215435785017764
[READ], Operations, 50322
[READ], AverageLatency(us), 1727.1597313302334
[READ], MinLatency(us), 182
[READ], MaxLatency(us), 2369535
[READ], 95thPercentileLatency(us), 603
[READ], 99thPercentileLatency(us), 1041
[READ], Return=OK, 50322
[CLEANUP], Operations, 6
[CLEANUP], AverageLatency(us), 972.6666666666666
[CLEANUP], MinLatency(us), 3
[CLEANUP], MaxLatency(us), 5783
[CLEANUP], 95thPercentileLatency(us), 5783
[CLEANUP], 99thPercentileLatency(us), 5783
[UPDATE], Operations, 49678
[UPDATE], AverageLatency(us), 3466.9299488707275
[UPDATE], MinLatency(us), 203
[UPDATE], MaxLatency(us), 4734975
[UPDATE], 95thPercentileLatency(us), 618
[UPDATE], 99thPercentileLatency(us), 1067
[UPDATE], Return=OK, 49678

结论分析：

当前的单核虚拟机，4个线程可以带来最大的0.5%update，0.5%read，线程数为4时候，吞吐量达到最大

tips：测试数据量一定要够大够多，也就是操作的次数和操作增删改查比例要设置大点，否则会有明显误差

虎起来
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ycsb cassandra 压力测试工具
07-22
ycsb cassandra nosql 压力测试工具 已经编译好的工具，如果个人要自己编译需要下载800M的jar包。
mongo+JavaScript课程项目：购物网站Allaia
06-23
Allaia为网上购物系统，该网络商城主要功能包括: （1）前台部分由用户使用，主要包括用户注册、用户登录、浏览商品、查看商品详细信息以及将选中的商品加入购物车等。 （2）后台部分由管理员使用，主要包括商品管理，如对网站商品数据的增删改查、网页与数据库连接信息管理等。
mongo+JavaScript课程项目：购物网站Caraft
06-23
购物网站Caraft实现了网上购物的最基本功能，合理的实现了消费者购物需求。本网站设计了前台和后台两个模块： 系统前台，实现了用户信息的注册，登录，查看商品，将喜欢的商品加入购物车进行挑选购买等功能。 系统后台，对商品的信息进行管理，实现对数据的新增、删除、修改和查询功能，将用户注册信息存入数据库。
MongoDB、HandlerSocket和MySQL性能测试及其结果分析
01-31
共涉及4台测试服务器：机器配置为：安装Webbench1.5，通过Webbench来压Web服务器。Nginx0.8.54+PHP5.3.3(php-fpm)，安装有Mongodb和HandlerSocket的php驱动。Mongodb的php驱动为：mongodb-mongo-php-driver-1.1.1-19-gc584231.tar.gzHandlerSocket的php驱动为：php-handlersocket-0.0.7.tar.gz通过Php程序来调用Mongodb和HandlerSocket。MongoDB版本：1.6.5MySQL版本：5.1.53Ha
egg权限管理系统(mysql+mongo+redis+socket)
07-01
egg+vue+mysql+mongo+redis+权限系统demo，演示请点链接https://blog.csdn.net/xuelang532777032/article/details/118380179
YCSB压测MongoDB
shuijiaxiaowei的博客
06-17 1613
一.前言 现在有个项目，五年时间会产生一亿条数据，所以领导想知道使用mongodb数据库，一亿条数据量中查询一条数据的响应时间。
ycsb使用
willinux的专栏
06-30 2926
1.是什么 YCSB（Yahoo! Cloud Serving Benchmark），是雅虎开源的一款通用的性能测试框架。 2.可以做什么 可以测试数据库，或者支持数据库操作的产品性能。 内嵌了一些数据库产品和测试，并支持自定义数据库的测试，测试结果是吞吐量和延迟，可以了解数据库性能。 3.ycsb执行的原理 ycsb的目录： bin目录： 目录下有个可执行的ycsb文件，是个python脚本，是用户操作的命令行接口。ycsb主逻辑是：解析命令行、设置java环境，加载java-libs，封装成可以执行的j
YCSB性能测试工具使用
weixin_30535843的博客
02-28 1042
在网上查In-Memory NoSQL性能测试的资料时，偶然间发现了这个性能测试工具YCSB，全称为“Yahoo! Cloud Serving Benchmark”。它内置了对常见NoSQL数据库和数据网格产品的支持，如Cassandra、MongoDB、HBase、Redis、Infinispan等等很多的主流产品，而且不仅安装使用简单，还能自由扩展测试数据类型和支持的数据库产品。1编译安...
【测试】自定义配置 RocksDB 进行 YCSB 测试
乐园
12-26 1331
文章目录简介编译 RocksDB编译 YCSB修复报错自定义配置 RocksDB 进行 YCSB 测试参考资料 本文主要记录在利用 YCSB 使用配置文件测试 RocksDB 的过程中遇到的一些问题以及相应的解决办法 简介 YCSB 的全程是 Yahoo! Cloud Serving Benchmark，是雅虎开发的用来对云服务进行基础测试的工具，支持目前常见的 NoSQL 数据库产品，如 HBase、MongoDB、OrientDB、Redis 等等 RocksDB 是一个具有键/值接口的存储引擎，其中
【操作教程】利用YCSB测试巨杉数据库性能
SequoiaDBOfficail的博客
11-09 3236
巨杉数据库（SequoiaDB）是国内第一款新一代文档型分布式数据库，巨杉数据库由巨杉软件完全自主研发，拥有完全自主知识产权，不基于任何其它的开源项目。SequoiaDB数据库是为分布式存储、并行计算模型、云计算资源条件下搭建和运行应用程序而设计的。作为一款操作性数据库，巨杉数据库在海量数据实时读写场景具有得天独厚的优势，拥有较高的读写性能。为便于跟其他同类数据库进行比较，在本篇文章中，我们介绍一个专门用于对NoSQL数据库产品进行性能测试的工具——YCSB。
使用YCSB测试MYSQL数据库操作指南
最新发布
u013364875的博客
07-20 640
jdbc的驱动用于连接MYSQL数据库。修改ycsb-0.17.0/jdbc-binding/conf/db.properties，用于YCSB连接本地的MYSQL数据库。[READ]开头的代表只读的操作记录,其他还有例如上面的[insert],[UPDATE]等。95thPercentileLatency(us): 95%的操作延时,单位是微秒(us)99thPercentileLatency(us): 99%的操作延时,单位是微秒(us)MinLatency(us): 最小响应时间,单位是微秒(us)
YCSB的调研使用(针对MongoDB)
infi
08-28 2466
1  YCSB是什么     YCSB（Yahoo! Cloud Serving Benchmark）是雅虎开源的一款通用的性能测试工具。通过这个工具我们可以对各类NoSQL产品进行相关的性能测试，包括：HBase、Cassandra、Mongodb、Voldemort、Redis等。通过配置workload文件，YCSB可以灵活的模拟不同的测试负载和读写模式。   YCSB的几大特性： ...
使用YCSB对Mongodb进行压力测试
胸毛飘荡的博客
07-11 938
1.安装JDK 参考我的原创：https://blog.csdn.net/yumening77/article/details/95475526 2.安装Maven 参考我的原创：https://blog.csdn.net/yumening77/article/details/95476095 3.下载并解压 下载地址： https://github.com/brianfrankcoop...
【mongodb】——YCSB压测mongodb
汤庆
06-01 1219
一、前言 我们做数据库的benchmark主要是想了解数据库在某一个配置下性能究竟怎样，最近在k8s中压测了一下mongodb的性能，因为所做内容都是在公司的业务上，所以测试的代码就不放了。本文的总结是梳理一下YCSB这个测试工具对mongodb的压测。其实在k8s上操作和裸机操作原理都是一样的，只是k8s上操作比裸机部署的操作相当于“加了个壳”，你可以把YCSB封装成docker镜像，通过job来完成你的压测部署。 二、测试工具 测试选取YCSB(Yahoo! Cloud ...
使用ycsb对mongo单实例做性能测试
雅冰石的专栏
01-11 1897
本文详细演示在16G,4核cpu配置下用ycsb（版本0.17）对mongo(版本4.0.10)单实例进行性能测试。 测试表数据量：一千万条数据 一 安装ycsb 安装包下载地址： https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-0.17.0.tar.gz tar xfvz ycsb-0.17.0.tar.gz cd ycsb-0.17.0 二 使用ycsb对mongo做性能测试 2.1 选择合适的
ycsb测试mysql_YCSB测试
weixin_36116139的博客
01-26 364
查看workloads中文件我们打开workloada查看信息以下是workloada、workloadb、workloadc、workloadd、workloade、workloadf的相关文件信息workloada读写均衡型，50%读，50%写workloadb读多写少型，95%读，5%更新。workloadc只读，100%读。workloadd读最近写入记录型，95%读，5%插入。workl...
使用YCSB测试Hbase与Mysql数据库性能
neymar1204的博客
07-09 1049
YCSB测试Hbase和MySQL性能 一.YCSB介绍 YCSB（Yahoo! Cloud Serving Benchmark）是雅虎开源的用于测试新式数据库（主要为 NoSQL）性能的框架，使用 Java 实现，可以测试 HBase、Cassandra、Infinispan、MongoDB 、JDBC等等。 YCSB 包括两个部分： YCSB 客户端，一个可以扩展的 workload 生成器 Core workloads，预先配置好的 workloads 二.YCSB使用 1.下载ycsb YCSB
YCSB初探：测试redis
weixin_33937913的博客
10-10 261
为什么80%的码农都做不了架构师？>>> ...
ycsb安装使用方法
haha72897的专栏
06-14 6724
ycsb安装使用方法： 下载tar包，用tar -xfvz ycsb-0.1.4.tar.gz 解压缩后，cd 到 ycsb/bin 目录，用./ycsb可以查看命令格式 Usage: ./ycsb command database [options] Commands:     load          Execute the load phase     run
MongoTemplate.bulkOps怎么多线程批量导入
06-12
你可以使用Java的多线程机制来实现MongoTemplate.bulkOps的多线程批量导入。 具体实现方式如下： 1. 创建一个MongoTemplate实例，用于访问MongoDB数据库。 2. 创建一个线程池，可以使用Java提供的ExecutorService来创建。推荐使用固定大小的线程池，可以根据系统资源和数据量来设置线程池的大小。 3. 将数据分成若干个批次，每个批次包含一定数量的数据。可以根据数据量和系统资源来确定每个批次的大小。 4. 对于每个批次，创建一个新的线程来执行bulkOps操作。在线程中，使用MongoTemplate.bulkOps.insert方法将数据插入到MongoDB中。 5. 执行完所有的线程后，关闭线程池和MongoTemplate实例。 下面是一个示例代码： ```java MongoTemplate mongoTemplate = ...; // 创建MongoTemplate实例 int batchSize = ...; // 每批次的数据量 List<YourDataModel> dataList = ...; // 待导入的数据列表 // 创建线程池 ExecutorService executorService = Executors.newFixedThreadPool(4); // 4为线程池大小 // 将数据分成若干个批次，每个批次包含batchSize条数据 List<List<YourDataModel>> batches = Lists.partition(dataList, batchSize); // 多线程批量导入数据 for (List<YourDataModel> batch : batches) { executorService.execute(() -> { BulkOperations bulkOps = mongoTemplate.bulkOps(BulkOperations.BulkMode.UNORDERED, YourDataModel.class); bulkOps.insert(batch); bulkOps.execute(); }); } // 关闭线程池和MongoTemplate实例 executorService.shutdown(); mongoTemplate.destroy(); ``` 需要注意的是，bulkOps操作是异步的，因此在使用bulkOps.insert方法时，应该保证在执行bulkOps.execute方法之前，所有的数据都已经插入到bulkOps中。可以在每个线程执行完bulkOps.insert方法后，调用bulkOps.execute方法来执行bulk操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值