2018年07月_vkingnew

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 MariaDB 10.3 MyRocks报错 ERROR 12014 (HY000)： Failed to acquire lock due to max_num_locks limit

mysql> insert into sbtest select * from sbtest1;ERROR 12014 (HY000): Status error 10 received from RocksDB: Operation aborted: Failed to acquire lock due to max_num_locks limitmysql> insert i...

2018-07-31 23:28:37 1102 1

原创 RocksDB 介绍

因为使用到了MyRocks存储引擎，需要了解下下RocksDB，发现国内介绍的不详细就自己来写一遍吧。概述：RocksDB 是针对KV数据存储的高性能嵌入式数据库，由Facebook的Dhruba Borthakur于2012年4月创建的LevelDB的分支，最初的目标是提高服务工作负载的性能。 RocksDB针对多核CPU、高效快速存储（SSD)、I/O bound workl...

2018-07-31 15:53:11 5343

原创阿里巴巴淘宝数据内核月报目录(2014--2017)

淘宝的数据库内核月报文章还是不错的，并且持续更新，但是每次查看的时候需要逐个月份点击进去查看，有些麻烦，花了点时间把2014到2017年的月报信息的目录整理下，方便以后查看。月报的主页：http://mysql.taobao.org/monthly/查看规则：示例：http://mysql.taobao.org/monthly/2017/07/01/主页+年份（4位数）+月...

2018-07-31 10:58:42 2118

原创 MyRocks Variants 差异

MyRocks 由Facebook从Google LevelDB 派生出来的RocksDB的基础上开发的，此前主要由Facebook开发维护使用，后来MariaDB和Facebook 合作开发，截止今天2018.7.30已经在Percona和MariaDB上正式发布，可以稳定使用了。因此MyRocks由三个变种(variants):Facebook's MySQL Branch(基于My...

2018-07-30 23:07:47 253

原创 MariaDB10.3 MyRocks 安装卸载

MariaDB MyRocks概述：MariaDB MyRocks 目前支持windows和Linux操作系统，MariaDB10.2.16+和10.3.7+为正式稳定版本。在linux下通过RPM和DEB安装包安装的时候是通过单独的包安装的：sudo yum install MariaDB-rocksdb-enginesudo apt install mariadb-plugin-ro...

2018-07-30 22:11:43 1287

原创 MariaDB 10.3 MyRocks简介

MyRocks简介：MyRocks是facebook开发的一款基于RocksDB的开源MySQL存储引擎，基于oracle MySQL5.6版本。MyRocks库由Facebook 数据库工程团队维护。RocksDB是一个可嵌入的、持久K-V存储。RocksDB 是基于log-structured merge-tree（LSM-tree），针对快速存储进行了优化，并将出色的存储空间和读...

2018-07-30 17:51:31 1938

原创 Percona 5.7 MyRocks 安装卸载

运行环境：Centos7.5+Percona 5.7.22Percona分支自5.7.20版本正式发布(Genaral Availability).1.安装：使用RPM安装# rpm -ivh Percona-Server-rocksdb-57-5.7.22-22.1.el7.x86_64.rpm warning: Percona-Server-rocksdb-57-5.7.22-22...

2018-07-30 17:37:32 1130

原创 CentOS 7 ImportError: No module named MySQLdb

运行环境：CentOS 7在测试MyRocks 的时候报错：Traceback (most recent call last): File "./myrocks_hotbackup", line 21, in <module> import MySQLdbImportError: No module named MySQLdb这里是要调用mysqldb，但是没有这...

2018-07-30 16:52:46 2520

原创 MySQL 8.0 报错ERROR 1114 (HY000): The table 'sbtest1' is full

背景：mysql> alter table sbtest1 drop column cityname2;ERROR 1114 (HY000): The table 'sbtest1' is fullmysql> 做sysbench压力测试的时候报错。原因：得知是由于内存表的大小超过了规定的范围。经过查看二者值默认均是16M，需要设置tmp_table_size 大...

2018-07-29 03:22:05 4805 1

原创 MySQL 8.0.12 instant add column 体验，亿级数据秒速增加字段

运行环境：CentOS 7.5+8.0.12Instant add column功能自MySQL 8.0.12版本引入。快速创建1亿条记录用于测试下载sysbench#wget https://repo.percona.com/release/7Server/os/x86_64/sysbench-1.0.15-2.el7.x86_64.rpm# yum -y localinstall...

2018-07-29 03:13:30 3693

原创 Linux安装MySQL8.0.12之二进制安装

运行环境：centos+mysql8.0.121.下载官方打包好的二进制安装包：#wget https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.12-linux-glibc2.12-x86_64.tar.xz可以看到这个版本采用了tar.xz的打包压缩方式，文件只有350M左右，下载还是满方便的。# du -sh mysql-8.0....

2018-07-29 01:21:31 10411 15

原创 Linux下安装MySQL 8.0.12 报错 [ERROR] [MY-011087] [Server] Different lower_case_table_names ...

运行环境：centos 7.5+MySQL8.0.12背景：使用YUM或者RPM按照默认的参数安装后要修改不区分大小写参数报错[ERROR] [MY-011087] [Server] Different lower_case_table_names settings for server ('1') and data dictionary ('0').解决办法：1.若已经运行了一...

2018-07-29 00:52:23 13209

原创 Linux 安装MySQL 8.0.12之 RPM 安装体验

MySQL 8.0.12 版本于2018.07.27日发布，距离上一个版本MySQL8.0.11版本（2018.04.19）相距三个月多，其中新版本加入了一些新的功能，尤其是instand add column功能蛮令人期待的。1.Instant Add Column。由腾讯游戏团队贡献代码，MariaDB 自10.3.2版本已经支持该功能。2.BLOB小批量更新优化，这里的小批量更新是修改...

2018-07-28 20:24:53 4955 2

原创 MariaDB 10.3 深入理解序列

在MariaDB 10.3版本中sequence是特殊的表，和表使用相同的namespace，因此表和序列的名字不能相同。MariaDB [wuhan]> select version();+--------------------+| version() |+--------------------+| 10.3.8-MariaDB-log |+----...

2018-07-26 17:13:42 1823

原创 MariaDB 10.3 查询优化之profile

MariaDB [(none)]> select version();+--------------------+| version() |+--------------------+| 10.3.8-MariaDB-log |+--------------------+1 row in set (0.015 sec)profile功能默认是关闭需要通过se...

2018-07-26 16:38:26 1312

原创 MariaDB 10.3 sequence(序列)

运行环境：centos 7.5+ MariaDB 10.3.8序列是创建产生顺序值得对象，使用create sequence语句创建。sequence是MySQL自带的auto_increment 的备份方案用于可以自主控制多少序列数值；此外序列的cache values 某些时候比使用auto_increment访问速度更快；还有一个好处是可以访问所使用序列的最后一个值，解决了函数...

2018-07-25 22:59:33 2640

原创 MariaDB 10.3.8 INSTANT ADD COLUMN（即时加字段）

运行环境：CentOS7.4+MariaDB 10.3.8背景：INSTANT ADD COLUMN 功能由 Tencent Games DBA Team贡献.在MySQL 5.6(MariaDB10.0+)是第一个release支持 inplace DDL。在此之前增加字段是逐行复制。原来的加字段的方式有如下不足：1.在MySQL replication场景下大表加字段将花费很长时间...

2018-07-25 16:51:24 1653

原创 PMM 1.12 监控单主机多实例的MySQL

运行环境：CentOS 7.4+ PMM server 1.12.0 +PMM client 1.12.0 +MariaDB 10.3.8在单台主机上运行了多个MySQL实例，在已经搭建好的PMM server上监控MySQL。PMM server的访问的服务器地址为：172.16.1.89:88880.安装PMM客户端采集监控数据：# rpm -ivh pmm-client-1.1...

2018-07-25 15:10:28 1101

原创 MySQL 8.0.11 快速生成百万甚至千万测试数据

背景需求：随机生成千万数据用于测试和验证1.利用现有的生产数据。统计现有生产环境的数据，若有千万级别数据的表则可以直接利用：SELECT table_schema,table_name,table_rows FROM information_schema.tables WHERE table_rows >10000000;直接备份还原到测试环境即可。2.利用sysb...

2018-07-25 11:55:45 3155

原创 MySQL 8.0.11 生成日历表

MySQL的date 数据类支持的时间范围是 1000-1-1 到9999-12-31，通过计算可以知道最大支持天数为3287181天属于百万级别的。mysql> SELECT DATEDIFF('9999-12-31','1000-01-01') days;+---------+| days |+---------+| 3287181 |+---------+1 ...

2018-07-25 10:52:50 1218 1

原创 MySQL date 和string的相互转换

1.date-->stringDATE_FORMAT(date,format)：date表示日期，format表示显示的格式format样式整理：年:%Y 用4位数表示年份，如2018 %y 用年份的后两位显示，如18 月:%M 月份的英文显示：October %m 月份的阿拉伯显示：01-12 %b 月份的英文缩略显示：Oct %c ...

2018-07-25 09:50:00 9399

原创 MariaDB 10.3.8 数据审计插件的安装使用

运行环境：Centos 7.5+MariaDB10.3.81.查询默认的plugin_dir:MariaDB [(none)]> show variables like 'plugin_dir'; +---------------+------------------------------+| Variable_name | Value ...

2018-07-24 23:56:08 914

原创 MariaDB 10.3.8 单主机搭建多实例数据库服务

运行环境：CentOS 7.5+MariaDB 10.3.81.规划：实例端口号数据目录 socket文件 PID文件3301 /data/mysql/node1 /tmp/mysql_node1.sock /tmp/mysql_node1.pid3302 /data/mysql/node2 /tmp/m...

2018-07-23 23:55:44 1099

原创 MySQL 8.0.11 binlog相关的参数

mysql> show variables like '%version%';+-------------------------+------------------------------+| Variable_name | Value |+-------------------------+-----------...

2018-07-23 17:17:44 1610

原创 MySQL 8.0.11 binlog文件查看

运行环境：MySQL8.0.11+centos7.41.查看binlog文件的列表：方法1：查看binlog的日志文件：# cat node1_bin.index /home/mysql/node1_bin.000001方法2：通过MySQL的命令查看：mysql> show binary logs;+------------------+-----------+| Log...

2018-07-23 16:41:08 5739 1

原创 MariaDB 10.3.8 InnoDB版本是多少？

自MariaDB 10.2 版本发布后MariaDB默认的存储引擎由XtraDB转为默认的InnoDB，在10.2版本基本和MySQL官方的版本保持一致。在MariaDB官方的发布中做了如下说明：InnoDB is now the default storage engine. Until MariaDB 10.1, MariaDB used the XtraDB storage ...

2018-07-22 00:47:44 3988

原创 MySQL 5.7.22 ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option

运行环境：CentOS7.4+MySQL5.7.22将表数据导出为csv文件的时候报错ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statementmysql> select * from benchma...

2018-07-20 16:07:49 1133

原创 MariaDB 10.3.8 半同步复制(semi-synchronous Replication)

--半同步复制：自MariaDB10.3.3版本开始经过阿里巴巴贡献的代码 replication plugin被合并到server里不需要手动安装插件了。但是MySQL和Percona和MariaDB 10.3.3早前的版本则需要手动安装插件。--手动安装:INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';...

2018-07-19 16:56:36 881

原创 MariaDB 10.3.8 复制限速

复制限速的全称为Restricting speed of reading binlog from master by a slave，即在从库上设置从master库上读取binlog的速度。该功能由腾讯团队贡献给MariaDB，自MariaDB10.2.3版本开始加入了此功能。适用场景：1.slave从库因为某些原因停止了一段时间2.从主库备份了数据过了一段时间。上述情景都需要ma...

2018-07-19 11:55:12 592

原创 MariaDB 10.3.8 延迟复制

延迟复制的适用场景：在大多数情况下默认的主从复制延迟为零，但是有些情况需要从库的数据比主库的数据延迟。1.主库误删除数据，可以延迟几个小时或者更久在从库查看到。2.可以作为延迟测试。3.可以查询历史数据，对准实时同步要求不高的情景。MariaDB 10.2.3开始提供延迟复制的功能支持。在从库设置：查看正常的主动同步：MariaDB [(none)]> sh...

2018-07-18 17:17:55 911

原创 MariaDB 10.3.8 主从同步

运行环境：CentOS7.4+MariaDB10.3.8 单主机多实例单主机多实例演示主从同步：实例node4作为主库，node5为从库。规划：实例名角色端口 server-id 数据目录node4 master 4000 40 /data/mysql/node4node5 slave 5000 50 /data/mysql...

2018-07-18 16:22:49 1345

原创 MariaDB 10.3.8 单主机搭建 MariaDB Galera Cluster集群

运行环境：CentOS 7.4+MariaDB 10.3.8由于硬件资源有限不想使用虚拟机，便决定尝试在一台物理机上运行三个mysql实例搭建cluster集群。0.单主机多实例运行MySQL的相关规划：节点信息配置文件数据目录 mysql端口号 SST端口 WSREP_CLUSTER端口node1 node1.cnf /data/mysql...

2018-07-18 14:59:53 2389 2

原创 Linux 服务器信息查看

2018-07-18 10:50:04 6439

原创 MariaDB Galera Cluster 10.3.8 集群搭建报错

运行环境：Centos7.4+MariaDB 10.3.8# cat innobackup.backup.log xtrabackup: recognized server arguments: --datadir=/data/mysql/node1/data --server-id=20 --log_bin=/data/mysql/node1/log/node1_bin.log --inn...

2018-07-17 19:51:39 2376

原创美化查看MySQL多选项参数

--美化MySQL多参数查看：MySQL中的有些参数选项很多比如optimizer_switch，查询的时候屏幕有多宽则可以展示多长，非常不利于查看。正常的查询如下所示：mysql> show variables like 'optimizer_switch'\G*************************** 1. row **************************...

2018-07-13 15:22:14 1268

原创 ERROR: 1461 Can't create more than max_prepared_stmt_count statements (current value: 16382);

运行环境：CentOS 7.4 +Percona5.7.22---报错信息：FATAL: `thread_init' function failed: /usr/share/sysbench/oltp_common.lua:284: SQL API errorFATAL: MySQL error: 1461 "Can't create more than max_prepared_stmt_...

2018-07-13 09:19:12 6502 1

原创 Linux服务器参数默认修改

修改资源的限制：/etc/security/limits.conf* soft nofile 65535* hard nofile 65535* soft nproc 10240* hard nproc 10240修改/etc/pam.d/su# Find and uncomment the following:session required pam_limits.so系统调...

2018-07-12 17:34:57 764

原创 MySQL 账号资源的限制

账号资源的限制：max_queries_per_hour该参数设置一个用户在一小时内可以执行查询的次数（基本包含所有语句）max_updates_per_hour该参数设置一个用户在一小时内可以执行修改的次数（仅包含修改数据库或表的语句）。max_connections_per_hour该参数设置一个用户在一小时内可以连接MySQL的时间。max_user_connections该...

2018-07-12 16:52:22 4243 1

原创 ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

--密码验证：mysql> create user backup@'%' identified WITH mysql_native_password by 'backup';ERROR 1819 (HY000): Your password does not satisfy the current policy requirements运行环境：centos7.4+MySQL8.0.1...

2018-07-12 16:26:38 19287

原创 MySQL 密码管理之密码过期和账号锁定

运行环境：centos7.4+MySQL5.7.15Payment Card Industry，即支付卡行业，PCI行业表示借记卡、信用卡、预付卡、电子钱包、ATM和POS卡及相关的业务。 PCI DSS，即PCI数据安全标准（Payment Card Industry Data Security Standard）是由PCI安全标准委员会制定，旨在使国际上采用一致的数据安全措施。PCI D...

2018-07-12 11:18:06 4776