YCSB and TPC-C on MySQL（避免重复load）

已于 2023-10-21 19:36:42 修改
阅读量384 收藏 2
点赞数 1
文章标签： mysql 数据库
于 2023-10-19 21:30:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wenj12/article/details/133934475
版权

一、编译安装MySQL

下载mysql5.7.28源码

https://downloads.mysql.com/archives/community/
Select Operating System 选择 Source Code
Select OS version 选择 All Operating Systems
选择带有boost的版本
在这里插入图片描述

安装系统包

apt -y install make cmake gcc g++ perl bison libaio-dev libncurses5 libncurses5-dev libnuma-dev libssl-dev

这里可能需要安装低版本的openssl
1、下载源码包：

wget http://www.openssl.org/source/openssl-1.1.0g.tar.gz

2、安装到/usr/local/ssl/目录下：

tar zxvf openssl-1.1.0g.tar.gz    

cd openssl-1.1.0g

./config --prefix=/usr/local/ssl

这里可能报错：
在 Configure文件和 test/build.info这个文件

 use if $^O ne "VMS", 'File::Glob' => qw/glob/;

改成

 use if $^O ne "VMS", 'File::Glob' => qw/:glob/;

make -j8
make install -j8 

mv -f /usr/bin/openssl /usr/bin/openssl.old

mv -f /usr/include/openssl /usr/include/openssl.old

ln  -s /usr/local/ssl/bin/openssl /usr/bin/openssl    #修改软链，指向新版本的openssl路径

ln -s /usr/local/ssl/include/openssl /usr/include/openssl

echo "/usr/local/ssl/lib">>/etc/ld.so.conf 

#添加so库的路径，添加完成之后，运行ldconfig ,将新增的so 文件缓存到/etc/ld.so.cache中；

ldconfig -v    

openssl version -a   #确认版本是否为1.1.0g

添加mysql用户

groupadd mysql
useradd -r -g mysql mysql

预制一些目录

mkdir -p /mnt/install  # 存放安装后的软件
mkdir -p /mnt/data  # 存放数据
mkdir -p /mnt/log  # 存放日志
chown -R mysql:mysql /mnt

解压

tar -zxf mysql-boost-5.7.28.tar.gz

预编译

cmake -DMYSQL_UNIX_ADDR=/mnt/install -DMYSQL_UNIX_ADDR=/mnt/install/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_INNOBASE_STORAGE_ENGINE=1  -DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DMYSQL_DATADIR=/mnt/data -DMYSQL_TCP_PORT=3306  -DWITH_BOOST=boost -DWITH_SSL=/usr/local/ssl
# cmake -DMYSQL_UNIX_ADDR=/usr/local/mysql -DMYSQL_UNIX_ADDR=/usr/local/mysql/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_INNOBASE_STORAGE_ENGINE=1  -DWITH_ARCHIVE_STORAGE_ENGINE=1 -DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DMYSQL_DATADIR=/mnt/data -DMYSQL_TCP_PORT=3306  -DWITH_BOOST=boost -DWITH_SSL=/usr/local/ssl

编译参数的参考文档：https://dev.mysql.com/doc/refman/5.7/en/source-configuration-options.html

编译

make -j8

安装

指定安装目录

vim cmake_install.cmake

修改AKE_INSTALL_PREFIX "/mnt/install"为目标目录
在这里插入图片描述

make install -j8

修改安装目录的所有者和所属组

chown -R mysql:mysql /mnt

初始化，生成一个临时的mysql root用户密码

/mnt/install/bin/mysqld --initialize --user=mysql
# /usr/local/mysql/bin/mysqld --initialize --user=mysql

打印初始密码：A temporary password is generated for root@localhost: Br-)u/%:=2:9
这个密码也会写入 /root/.mysql_secret中

启动mysql，修改root密码为123456

/mnt/install/support-files/mysql.server start # 启动后，按回车回到命令行 /usr/local/mysql/support-files/mysql.server start
/mnt/install/bin/mysql -u root -p  #/usr/local/mysql/bin/mysql -u root -p
Enter Password: # 这里输入刚才生成的密码
mysql> set password for root@localhost = password('123456');

这里可能会报错mysql.server: 259: cd: can’t cd to /usr/local/mysql
解决方案：
修改 /mnt/install/support-files/mysql.server，将文件中的datadir和basedir路径配置成自定义的路径 即basedir=/mnt/install datadir=/mnt/data

目前不太方便，系统没有mysql这个命令

先停止mysql

/mnt/install/support-files/mysql.server stop
# /usr/local/mysql/support-files/mysql.server stop

启动mysql服务，注册成systemd服务

cp /mnt/install/support-files/mysql.server /etc/init.d/mysqld # cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
/etc/init.d/mysqld start # 这一步自动注册成systemd服务了，可以使用systemctl管理mysql了
chmod +x /etc/init.d/mysqld
systemctl stop mysqld
systemctl start mysqld

添加mysql、mysqldump、mysqlpump等一系列命令

vim /etc/profile

文件末尾追加

PATH=$PATH:/mnt/install/bin
# PATH=$PATH:/usr/local/mysql/bin

验证mysql命令

source /etc/profile
mysql -u root -p 
Enter password: 123456

修改配置文件

vim /etc/mysql/my.cnf

修改为

[mysqld]
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
innodb_flush_log_at_trx_commit=1
innodb_flush_method=fsync
!includedir /etc/mysql/conf.d/

重启服务

systemctl stop mysqld
systemctl start mysqld

二、YCSB-jdbc

下载打包好的YCSB

curl -O --location https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-0.17.0.tar.gz
tar xfvz ycsb-0.17.0.tar.gz
cd ycsb-0.17.0

安装java

sudo apt install openjdk-8-jdk -y

基于mysql版本下载

我的是5.7的用的mysql-connector-java-5.1.38-bin.jar

修改ycsb配置

vim ycsb-0.17.0/jdbc-binding/conf/db.properties

db.driver=com.mysql.jdbc.Driver
# jdbc.fetchsize=20
db.url=jdbc:mysql://127.0.0.1:3306/ycsb?useSSL=false
db.user=root
db.passwd=123456

安装python2

sudo apt install python2
#设置软连接
ln -s  /usr/bin/python2  /usr/bin/python

三、运行YCSB on MySQL

创建数据库

mysql -u root -p
CREATE DATABASE ycsb;
USE ycsb;
CREATE TABLE usertable (YCSB_KEY VARCHAR(255) PRIMARY KEY, FIELD0 TEXT, FIELD1 TEXT, FIELD2 TEXT, FIELD3 TEXT, FIELD4 TEXT, FIELD5 TEXT, FIELD6 TEXT, FIELD7 TEXT, FIELD8 TEXT, FIELD9 TEXT);

load数据

bin/ycsb load jdbc -P workloads/workloada -P ./jdbc-binding/conf/db.properties -cp ./jdbc-binding/lib/mysql-connector-java-5.1.38-bin.jar

可能会报错，jdk问题：Caused by: javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriate
解决办法：

cp /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-1.el8_3.x86_64/jre/lib/security    /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-1.el8_3.x86_64/jre/lib/security.bak
vim /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.275.b01-1.el8_3.x86_64/jre/lib/security

删除SSLv3, TLSv1, TLSv1.1
在这里插入图片描述

复制data目录

为了方便后续测试不再重新load，可以选择将/mnt/data目录copy到其他地方做备份，
当重新测试时， 先关闭mysql

sudo systemctl stop mysqld

删除/mnt/data/
然后复制回之前的版本，并修改所属者

sudo chown -R mysql:mysql /mnt/data

然后重启mysql

sudo systemctl start mysqld

run测试

bin/ycsb run jdbc -P workloads/workloada -P ./jdbc-binding/conf/db.properties -cp ./jdbc-binding/lib/mysql-connector-java-5.1.38-bin.jar

如果要更换数据集，重建表即可

mysql -u root -p
mysql > drop database ycsb;
mysql > create database ycsb;
mysql > USE ycsb;
mysql > CREATE TABLE usertable (YCSB_KEY VARCHAR(255) PRIMARY KEY, FIELD0 TEXT, FIELD1 TEXT, FIELD2 TEXT, FIELD3 TEXT, FIELD4 TEXT, FIELD5 TEXT, FIELD6 TEXT, FIELD7 TEXT, FIELD8 TEXT, FIELD9 TEXT);

四、TPCC安装

下载源码

git clone https://github.com/Percona-Lab/tpcc-mysql.git
cd tpcc-mysql/src/

编译

sudo apt-get install libmysqlclient-dev
make

五、运行TPC-C on MySQL

配置数据库

cd ..
mysql -u root -p
mysql > create database tpcc1000
mysql > exit

也可以运行mysqladmin来创建数据库：

mysqladmin create tpcc1000

可能的问题：sudo: mysqladmin: command not found
解决办法：
直接输入命令mysql或mysqladmin会发现提示命令不存在，这是由于系统默认会查找/usr/bin下的命令，如果这个命令不在这个目录下，当然会找不到命令，我们需要做的就是映射一个链接到/usr/bin目录下，相当于建立一个链接文件。
首先得知道mysql命令或mysqladmin命令的完整路径，比如mysql的路径是：/usr/local/mysql/bin/mysql，我们则可以这样执行命令：

ln -s /usr/local/mysql/bin/mysql /usr/bin
ln -s /usr/local/mysql/bin/mysqladmin /usr/bin

当提示mysqldump: command not found时同样可以通过此方法来解决。

#设置表
mysql -u root -p tpcc1000 < create_table.sql
mysql -u root -p tpcc1000 < add_fkey_idx.sql

load 数据

./tpcc_load -h 127.0.0.1 -P 3306 -d tpcc1000 -u root -p "123456" -w 10

复制data目录

为了方便后续测试不再重新load，可以选择将/mnt/data目录copy到其他地方做备份，
当重新测试时， 先关闭mysql

sudo systemctl stop mysqld

删除/mnt/data/
然后复制回之前的版本，并修改所属者

sudo chown -R mysql:mysql /mnt/data

然后重启mysql

sudo systemctl start mysqld

run测试

./tpcc_start -h 127.0.0.1 -P 3306 -d tpcc1000 -u root -p "123456" -w 10 -c 4 -r 10 -l 100

如果要更换数据集，重建表即可

mysql -u root -p
mysql > drop database tpcc1000;
清风不及你@
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mongo+ycsb性能测试及线程数分析
qq_36967200的博客
08-06 1075
mongodb下载官网mongo下载完对应tar包后，通过tar -xvf命令解压至/usr/local下启动mongoycsb0.17下载地址#官方文档 Now you are ready to run!解压后ycsb后不同的工作负载模式不同对应增删改查的操作所占百分比不同ycsb的workloads目录下保存了6种不同的workload类型，代表了不同的压测负载类型，详细的介绍列在下面：workloada：混合了50%的读和50%的写；...
使用YCSB检测MongoDB
weixin_34358365的博客
02-03 202
使用YCSB检测MongoDB英文原文：http://blog.mongodirector.com/how-to-benchmark-mongodb-with-ycsb/ 当谈到系统性能特性，大多数DBaaS提供商提供他们预置系统的有限信息。的确，基于在这样一个系统下给定的大量参数的部署，很难准确的讨论云的实际吞吐量和延时。虚拟化环境、不可预测的负载、网络延时、不同地址位置只是考虑的一部分。 然而...
使用YCSB测试MYSQL数据库操作指南
u013364875的博客
07-20 764
jdbc的驱动用于连接MYSQL数据库。修改ycsb-0.17.0/jdbc-binding/conf/db.properties，用于YCSB连接本地的MYSQL数据库。[READ]开头的代表只读的操作记录,其他还有例如上面的[insert],[UPDATE]等。95thPercentileLatency(us): 95%的操作延时,单位是微秒(us)99thPercentileLatency(us): 99%的操作延时,单位是微秒(us)MinLatency(us): 最小响应时间,单位是微秒(us)
linux安装mysql5.7步骤及无法登录解决方法
weixin_44928809的博客
05-07 2326
linux安装mysql5.7步骤及问题解决linux安装mysql安装步骤默认密码无法登录解决 linux安装mysql 以下是我在linux上安装mysql5.7版本的步骤以及遇到的一些问题的解决办法 安装步骤 如下为mysql下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads 在根目录下创建文件夹software和数...
Linux服务器安装mysql
yinjian318的博客
04-17 1078
下载： wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz 解压： tar -xzvf mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz 4、创建mysql用户组和mysql用户 groupadd mysql useradd -r -...
ycsb mysql_mongodb性能基准测试工具ycsb使用基础教程
weixin_34761438的博客
01-30 429
熟悉mysql的同学一定都听说过tpcc-mysql这个mysql性能测试的工具，与其类似，nosql界也有一个性能基准测试工具ycsb。Yahoo! Cloud Serving Benchmark。ycsb需要java环境，需要maven。mvn clean package的时候可能会报错…在pom.xml中把不需要的测试对象删除即可，如infinispan，cassandra，hbase之类的...
ycsb-hbase14-binding-0.17.0
09-11
《深入解析YCSB-HBase14-Binding 0.17.0》 YCSB（Yahoo! Cloud Serving Benchmark）是一种广泛使用的云数据库基准测试工具，它为各种分布式存储系统提供了标准化的性能评估框架。YCSB-HBase14-Binding 0.17.0是针对...
YCSB-mysql-cluster-binding:YCSB 的 MySQL 数据库接口。 无分片的主从复制
06-21
YCSB-mysql-集群绑定 YCSB 的 MySQL 数据库接口。 开发用于对在主从复制中运行的 MySQL 集群进行基准测试。 读操作被定向到从节点，而写操作在主节点上执行。 安装指南 下载YCSB项目如下：git clone 在 YCSB 目录...
ycsb-0.17.0 -免费-0积分
最新发布
10-13
ycsb-0.17.0.tar.gz
YCSB-Riak-Binding
07-07
云系统基准 (YCSB) Riak YCSB 客户端旨在与 Yahoo! Cloud System Benchmark (YCSB) 项目 ( ) 支持 Riak 数据库 2.0.X 系列的性能测试。 注意：为了支持 YCSB 的扫描操作，您必须在集群中的每个节点上启用 Riak ...
YCSB-riak-binding:YCSB 的 Riak 数据库接口
06-21
YCSB-riak-绑定 YCSB 的 Riak 数据库接口 安装指南 下载YCSB项目如下：git clone 在 YCSB 目录中包含 Riak DB 绑定： git clone riak 将 riak 添加到 YCSB/pom.xml 中的模块列表 将以下行添加到 YCSB/bin/ycsb 中...
Linux 安装 MySQL
程序人生
02-02 145
1）查看Linux是否已经安装了MySQL，如下图没有安装mysql，那么直接进入【2】查看命令：rpm -qa | grep mysql如果像上边截图那样有安装mysql，则要进行删除，使用下面的清除命令进行删除mysql清除命令：rpm -e xxx（xxx代表要删除的文件全名）2）官网下载MySQL安装包2、
教程，使用YCSB测试MYSQL数据库，获取千万条测试后的数据
ChainingBlocks
12-14 3099
Yahoo! Cloud Serving Benchmark （YCSB）是一个数据库特别是nosql数据库性能测试的benchmark。在GitHub中有3.9千个star和1.9千个forks。本文讲解如何使用YCSB测试MYSQL数据库的性能。 本人最终的结果是获取测试之后保存在MYSQL中的数据，需要10000000条记录。这个过程包含性能测试的步骤。 系统：Windows 10； MYSQL5.7 安装MYSQL数据库，（测试能够登录进去）。 创建库和table。根据这个链接 https://g
ycsb测试mysql_YCSB测试
weixin_36116139的博客
01-26 381
查看workloads中文件我们打开workloada查看信息以下是workloada、workloadb、workloadc、workloadd、workloade、workloadf的相关文件信息workloada读写均衡型，50%读，50%写workloadb读多写少型，95%读，5%更新。workloadc只读，100%读。workloadd读最近写入记录型，95%读，5%插入。workl...
linux下mysql 启动问题
天月的专栏
07-17 229
linux下mysql 启动问题 刚开始学mysql时都是用redhat自带的。启动是什么 /rc.d/init.d/ start这很简单，但是后来越学越多，系统自带的mysql，有的是版本太低，有的是与自己想要装的web服务需要的低版本的mysql 后来自己学着以tar的方式安装mysql，我的mysql装在/usr/local/mysql目录下启 动碰到过很多问题。最常见的是：E...
使用ycsb测试mysql_YCSB性能测试工具使用
weixin_29589357的博客
02-02 508
在网上查In-Memory NoSQL性能测试的资料时，偶然间发现了这个性能测试工具，全称为“Yahoo! Cloud Serving Benchmark”。它内置了对常见NoSQL数据库和数据网格产品的支持，如Cassandra、MongoDB、HBase、Infinispan等等很多的主流产品，而且不仅安装使用简单，还能自由扩展测试数据类型和支持的数据库产品。1编译安装首先说一下YCSB的安装...
MySQL启动时的两个报错问题处理和插件升级
weixin_40074744的博客
08-17 3107
Linux 下安装了 MySQL 初始化后，进行启动时，遇到两个错误，特地记录下来。分享给大家。具体报错如图：[root@k8s-master-02 support-fi...
Linux手动安装mysql5.7.28过程中遇到的异常信息
追梦者xuaner
10-29 1993
问题一：my_print_defaults: [ERROR] Found option without preceding group in config file /etc/my.cnf at line 1! my_print_defaults: [ERROR] Fatal error in defaults handling. Program aborted! /etc/init.d/mysq...
为自己的数据库添加YCSB测试 C++语言
qq_39366020的博客
06-22 1669
为自己的数据库添加YCSB测试 C++语言 操作系统：Linux/Mac 编程语言：C++11 代码说明： Github上的权威YCSB测试代码（Java版）：https://github.com/brianfrankcooper/YCSB 原C++代码框架：https://github.com/basicthinker/YCSB-C 为自实现的数据库HWDB添加YCSB测试的代码样例：https://github.com/zzh-wisdom/YCSB-HWDB 第二个是一位大佬根据第一个翻译过来
ycsb mysql
09-22
可以的，关于 YCSB (Yahoo Cloud Serving Benchmark) 在 MySQL 上的使用，你可以按照以下步骤进行： 1. 首先，下载和安装 YCSB。你可以从 YCSB 的 GitHub 仓库中获取最新的代码：https://github.com/brianfrankcooper/YCSB 2. 确保已经安装了 Java 开发环境（JDK）和 Apache Maven。 3. 在 YCSB 的主目录下，运行以下命令编译 YCSB： ``` mvn clean package ``` 4. 创建一个新的工作负载配置文件，例如 `workload.mysql`，用于定义要执行的操作类型和对数据库的负载。在该文件中，你需要指定要使用的数据库驱动程序、连接字符串、用户名和密码以及执行的操作类型和参数。 5. 在 MySQL 数据库中创建一个用于测试的表。可以使用 YCSB 提供的 `mysql` 工作负载类来创建表。运行以下命令： ``` ./bin/ycsb load mysql -s -P workloads/workload.mysql -p db.url=jdbc:mysql://localhost:3306/ycsb -p db.user=<username> -p db.passwd=<password> ``` 其中 `<username>` 和 `<password>` 是你的 MySQL 数据库的用户名和密码。 6. 运行基准测试以评估数据库性能。运行以下命令： ``` ./bin/ycsb run mysql -s -P workloads/workload.mysql -p db.url=jdbc:mysql://localhost:3306/ycsb -p db.user=<username> -p db.passwd=<password> ``` 替换 `<username>` 和 `<password>` 为你的 MySQL 数据库的用户名和密码。 以上步骤将帮助你在 MySQL 上使用 YCSB 进行基准测试。你可以通过调整工作负载配置文件和 YCSB 命令行选项来定制测试。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值