mysql 5.6 tokudb 安装_自建 Percona5.7.23 同步阿里云 RDS(MySQL5.6)TokuDB 数据库

安装二进制 Percona Server for MySQL 5.7.23

=========================================

1 下载二进制 Percona Server for MySQL 5.7.23

命令:

wget -c https://www.percona.com/downloads/Percona-Server-LATEST/Percona-Server-5.7.23-23/binary/tarball/Percona-Server-5.7.23-23-Linux.x86\_64.ssl102.tar.gz

2.2 安装依赖

2.2.1. 更新系统 和安装依赖

yum -y update

yum install cmake libatomic atomic libaio libaio-devel automake autoconf bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel vim-common

2.2.2 更新 GCC

Percona Server for MySQL 5.7.23 需要 GLIBCXX 3.4.21, 如果用户的 GLIBCXX 低于该本，启动 MySQL 时，无法成功，并且不输出任何错误信息) 检查 GLIBCXX 版本

strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX

GLIBCXX_3.4

GLIBCXX_3.4.1

GLIBCXX_3.4.2

GLIBCXX_3.4.3

GLIBCXX_3.4.4

GLIBCXX_3.4.5

GLIBCXX_3.4.6

GLIBCXX_3.4.7

GLIBCXX_3.4.8

GLIBCXX_3.4.9

GLIBCXX_3.4.10

GLIBCXX_3.4.11

GLIBCXX_3.4.12

GLIBCXX_3.4.13

GLIBCXX_3.4.14

GLIBCXX_3.4.15

GLIBCXX_3.4.16

GLIBCXX_3.4.17

GLIBCXX_3.4.18

GLIBCXX_3.4.19

GLIBCXX_DEBUG\_MESSAGE\_LENGTH

如果检索出来 GLIBCXX 版本低于 3.4.21，则添加更新源

vim /etc/yum.repos.d/FedoraRepo.repo

[warning:fedora]

name=fedora

mirrorlist=http://mirrors.fedoraproject.org/mirrorlist?repo=fedora-23&arch=$basearch

enabled=1

gpgcheck=1

gpgkey=https://getfedora.org/static/34EC9CBA.txt

更新 GCC

yum install gcc gcc-c++

检查 GLIBCXX 版本

$ strings /usr/lib64/libstdc++.so.6 | grep LIBCXX

GLIBCXX_3.4

GLIBCXX_3.4.1

GLIBCXX_3.4.2

GLIBCXX_3.4.3

GLIBCXX_3.4.4

GLIBCXX_3.4.5

GLIBCXX_3.4.6

GLIBCXX_3.4.7

GLIBCXX_3.4.8

GLIBCXX_3.4.9

GLIBCXX_3.4.10

GLIBCXX_3.4.11

GLIBCXX_3.4.12

GLIBCXX_3.4.13

GLIBCXX_3.4.14

GLIBCXX_3.4.15

GLIBCXX_3.4.16

GLIBCXX_3.4.17

GLIBCXX_3.4.18

GLIBCXX_3.4.19

GLIBCXX_3.4.20

GLIBCXX_3.4.21

GLIBCXX_DEBUG_MESSAGE_LENGTH

删除刚才添加的源刚才添加的源和系统自带的源有一些冲突，所以更新完 gcc，g++ 后需要删除

rm /etc/yum.repos.d/FedoraRepo.repo

2.2.3 编译安装 openssl

wget https://www.openssl.org/source/openssl-1.1.1.tar.gz

tar zcvf openssl-1.1.1.tar.gz

cd openssl-1.1.1

./config

make

make install

ln -s /usr/local/lib64/libssl.so.1.1 /usr/lib64/libssl.so.1.1

ln -s /usr/local/lib64/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1

2.3 安装二进制 Percona Server MySQL 5.7

2.3.1 添加用户组

groupadd mysql

useradd -g mysql -d /usr/local/mysql -s /sbin/nologin -M mysql

2.3.2 解压安装包

tar zxvf Percona-Server-5.7.23-23-Linux.x86_64.ssl102.tar.gz

mv Percona-Server-5.7.23-23-Linux.x86_64.ssl102 /opt

2.3.3 添加 MySQL 到系统

创建符号链接

ln -s /opt/Percona-Server-5.7.23-23-Linux.x86_64.ssl102 /usr/local/mysql

修改系统环境变量

vim /etc/profile

在文件末尾添加 export PATH="/usr/local/mysql/bin/:$PATH"

使环境变量生效

source /etc/profile

2.3.4 初始化

cd /usr/local/mysql

./bin/mysqld --defaults-file\=/etc/my.cnf --initialize

2.3.4 添加启动脚本

cp /opt/Percona-Server-5.7.23-23-Linux.x86_64.ssl102/support-files/mysql.server /etc/init.d/mysqld

修改文件/etc/init.d/mysqld 把文件中的 Percona-Server-5.7.23-23-Linux.x86_64.ssl102 都替换成 MySQL

2.3.5. 启动 MySQL

/etc/init.d/mysqld restart

2.3.6. 设置 root 密码

获取初始密码

grep "temporary password" /data/mysql/mysql3306/data/error.log

修改 root 密码

cd /usr/local/mysql

./bin/mysql_secure_installation

2.4、 配置 TokuDB 引擎及参数

2.4.1 禁掉操作系统大页的支持

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

如果不修改，使用 tokudb 引擎的时候，会在 error.log 中报错

Transparent huge pages are enabled, according to /sys/kernel/mm/redhat_transparent_hugepage/enabled

Transparent huge pages are enabled, according to /sys/kernel/mm/transparent_hugepage/enabled

2.4.2 安装 TokuDB 引擎

ps_tokudb_admin --enable -uroot -p

2.4.3 添加 malloc 库为 jemalloc

拷贝 MySQL 版本对应的 jemalloc

cp /usr/local/mysql/lib/mysql/libjemalloc.so* /usr/lib64/

在/etc/my.cnf 中添加 malloc 库使用 jemalloc

[mysqld_safe]

thp-setting=never

malloc-lib=/usr/lib64/libjemalloc.so

配置 tokudb 参数

plugin-dir = /usr/local/mysql/lib/mysql/plugin

plugin-load=ha_tokudb.so

tokudb_row_format = tokudb_zlib

tokudb_cache_size = 1G

tokudb_commit_sync = 1

tokudb_directio = 1

tokudb_read_block_size = 128K

tokudb_read_buf_size = 128K

tokudb_support_xa = 1

tokudb_directio = 0

#tokudb_pk_insert_mode = ON

tokudb_hide_default_row_format = ON

tokudb_lock_timeout_debug = 1

2.4.4 重启 MySQL

/etc/init.d/mysqld restart

下载阿里云 RDS 全量备份文件

==================

2.1 登陆阿里云 RDS 控制台获取备份文件下载地址

2.2 下载备份文件

登陆云服务器，使用 wget 下载数据备份文件，命令格式如下:

wget -c '' -O (大写的O) .tar.gz

参数说明:

-c: 启用断点续传 模式

-O: 将下载的结果保持为指定文件(使用 URL 中包含的文件名后缀.tar.gz 或者.xb.gz)

2.3 停止 MySQL

/etc/init.d/mysqld stop

2.4 删除 MySQL data 目录下所有文件

如: rm -r /data/mysql/var/3306/

2.5 解压 RDS 备份文件到 MySQL data 目录

RDS 备份文件格式为.tar.gz

tar -izxvf .tar.gz -C /data/mysql/var/3306/

RDS 备份文件格式为.xb.gz

gzip -d -c .xb.gz | xbstream -x -v -C /data/mysql/var/3306/

安装 tokudb-xtrabackup

=======================

3.1 下载 tokudb-xtrabackup

git clone https://github.com/xelabs/tokudb-xtrabackup.git

3.2 编译安装 tokudb-xtrabackup

安装依赖

yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel vim-common

编译安装 tokudb-xtrabackup

cmake .

-DBUILD_CONFIG=xtrabackup_release\

-DWITH_BOOST=extra/boost/boost_1_59_0.tar.gz\

-DWITH_MAN_PAGES=OFF\

-DCMAKE_INSTALL_PREFIX=/usr/local/xtrabackup_xelabs/

make

make install

4. 备份恢复

4.1 数据文件恢复

/usr/local/xtrabackup_xelabs/bin/innobackupex --defaults-file=/data/mysql/var/3306/backup-my.cnf --apply-log /data/mysql/var/3306/

4.2 启动 MySQL

/etc/init.d/mysqld start

4.3 登陆 MySQL

mysql -uroot -h127.0.0.1 -p

如果登陆失败，需按照如下步骤进行:

在 MySQL 配置文件中添加 skip-grant-tables,然后重启 MySQL

使用 MySQL -uroot -p -h127.0.0.13) 修改 root 密码:

update mysql.user set authentication_string=password('密码') where user='root' and Host = '127.0.0.1';

删除 RDS 多余的表: drop table rds_extra;5) 更新权限: flush privileges;

4.4 更新数据库

由于备份文件是 RDS MySQL5.6，而自建数据库是 MySQL5.7，所以需要使用更新命令更新一下数据库表，命令如下

mysql_upgrade -u root -h 127.0.0.1 -p --force

4.5 重启数据库

/etc/init.d/mysqld start

创建 gtid 同步

============

5.1 删除数据库 trigger

查看 triggers

use 数据库；

show triggers;

删除 trigger

drop trigger trigger_名字

5.2 获取 gtid 值

cat /data/mysql/var/3306/xtrabackup_info # 获取GTID of the last change值

5.3 配置同步

重置复制

stop slave;

reset slave all;

reset master;

设置复制

set global gtid_purged='gtid值';

CHANGE MASTER TO

MASTER_HOST='xxxxx.mysql.rds.aliyuncs.com',

MASTER_USER='dt_repl',

MASTER_PASSWORD='xxxxx',

MASTER_PORT=3306,

MASTER_AUTO_POSITION=1,

MASTER_CONNECT_RETRY=10;

启动复制

start slave;

查看复制状态

show slave status\G;