主从复制+读写分离+从库新增
一、主从复制
1、原理
- master 主数据库写入 二进制日志（Binary log）， 并通知存储引擎提交事务。
- slave 从库启动io线程把master的binary log读取到中继日志（Relay log）
- slave 启动sql线程从Relay log读取事件，并从这些事件中获取和更改数据，从而master和slave的数据一致，只要该线程和io线程保持一致，中继日志通常会位于os缓存中，所以中继日记的开销很小
2、准备两台以上mysql服务器
都安装好了mysql（除了代理服务器）
主服务器：192.168.32.128
从服务器：192.168.32.129，192.168.32.130(这台用来做新增从库)
数据库代理服务器：192.168.32.131（单独一台服务器或和web同一台或和主库同一台）
3、主库配置
//配置/etc/my.conf
expire_logs_days = 10 #自动清理 10 天前的log文件,可根据需要修改（可以默认）
server-id = 1 #每个mysql都不能一样
#作为主机的配置
binlog-do-db=master #要给从机同步的库名（可以多个库）(每次加完一定要restart主库)
#binlog-do-db=master2
binlog-ignore-db=mysql #不给从机同步的库(多个写多行)
binlog-ignore-db=information_schema
binlog-ignore-db=performance_schema
binlog-ignore-db=sys
//重启service mysql restart
查看主服务器的配置状态
show master status\G
mysql> show master status \G
*************************** 1. row ***************************
File: mysql-bin.000023
Position: 154
Binlog_Do_DB: test
Binlog_Ignore_DB: information_schema,sys
Executed_Gtid_Set:
1 row in set (0.00 sec)
4、从服务器配置
/etc/my.conf
server-id = 2 #每个mysql都不能一样
#read-only=1 #是否只读（可选）
//进入mysql----- mysql -uroot -p
stop slave;
CHANGE MASTER TO MASTER_HOST='192.168.32.128',
MASTER_PORT=3306,
MASTER_USER='back',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.000023',//读取哪个日志
MASTER_LOG_POS=154; //日志位置
start slave;
show slave status\G
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.32.128
Master_User: back
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000023
Read_Master_Log_Pos: 921
Relay_Log_File: localhost-relay-bin.000002
Relay_Log_Pos: 1087
Relay_Master_Log_File: mysql-bin.000023
Slave_IO_Running: Yes //这是判断从库连接主库的状态
Slave_SQL_Running: Yes //这是从库读中继日志是否出错（Relay log）
Replicate_Do_DB:
Replicate_Ignore_DB:
//****重新布置从服务器****
stop slave;
reset slave all;
change master to MASTER_LOG_FILE=''..................
start slave;
show slave status\G
5、可能的问题
Slave_IO_Running: No\Connecting问题：
Connecting:这是io线程读取主服务器时出现的问题，有可能网络、防火墙阻止了端口号信号发出（一般不会）
主服务器对于的用户没有权限导致
MASTER_LOG_FILE问题： 可以先把主服务器重启，然后flush logs,最后重新布置从服务器change master to MASTER_LOG_FILE=’’
Slave_SQL_Running: No 读取relay日志出错,可能是从库和主库的数据库或其他东西不同
主数据库是否创建好复制的数据库：主服务器先创数据库，再重新布置从服务器
二、读写分离
参考：
https://www.cnblogs.com/sswind/p/12084897.html
https://www.cnblogs.com/wuchangsoft/p/10365427.html
原理：用一个代理服务器做代理（单独一台服务器或和web同一台或和主库同一台）
我这里用单独的一天：192.168.32.131
1、安装amoeba
amoeba是阿里的以为java工程师写的工具，需要java环境跑
1.安装gcc环境
[root@localhost ~]# yum -y install gcc*
2、安装jdk(java)
前往官网下载：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[root@localhost ~]# tar -zxvf jdk-8u231-linux-x64.tar.gz /amoeba/
[root@localhost /amoeba]# ln -s jdk1.8.0_231/ jdk
[root@localhost /amoeba]# vim /etc/profile
JAVA_HOME=/amoeba/jdk
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
[root@localhost /amoeba]# source /etc/profile
3、安装amoeba
[root@localhost ~]# wget https://jaist.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/3.x/amoeba-mysql-3.0.5-RC-distribution.zip
[root@localhost ~]# mkdir /amoeba
[root@localhost ~]# unzip amoeba-mysql-3.0.5-RC-distribution.zip -d /amoeba
1、配置amoeba
amoeba 的配置文件位于安装目录下的conf目录中，实现读写分离功能，只需修改两个配置文件，dbServers.xml和amoeba.xml。
1、dbServers.xml
[root@localhost /amoeba/amoeba-mysql-3.0.5-RC/conf]# cat dbServers.xml
<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">
<!--
Each dbServer needs to be configured into a Pool,
If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
such as 'multiPool' dbServer
-->
<dbServer name="abstractServer" abstractive="true">
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
<property name="connectionManager">${defaultManager}</property>
<property name="sendBufferSize">64</property>
<property name="receiveBufferSize">128</property>
<!-- mysql port -->
<property name="port">3306</property> #数据库端口
<!-- mysql schema -->
<property name="schema">test</property> #指定连接的数据库
<!-- mysql user -->
<property name="user">root</property> #登录使用的用户名
<property name="password">123456</property> #登录使用的密码
</factoryConfig>
<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<property name="maxActive">500</property> #最大连接数
<property name="maxIdle">500</property> #最大空闲连接数
<property name="minIdle">1</property> #最下空闲连接数
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testOnReturn">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>
<dbServer name="server1" parent="abstractServer"> #改名字可任意命名，后续有用
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">192.168.80.132</property> #数据库ip
</factoryConfig>
</dbServer>
<dbServer name="server2" parent="abstractServer">
<factoryConfig>
<!-- mysql ip -->
<property name="ipAddress">192.168.80.134</property> #数据库ip
</factoryConfig>
</dbServer>
<dbServer name="write" virtual="true"> #定义一个dbserver 组名
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
<property name="loadbalance">1</property> #选择调度算法
<!-- Separated by commas,such as: server1,server2,server1 -->
<property name="poolNames">server1</property> #write组成员
</poolConfig>
</dbServer>
<dbServer name="read" virtual="true">
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
<property name="loadbalance">1</property>
<!-- Separated by commas,such as: server1,server2,server1 -->
<property name="poolNames">server1,server2</property>
</poolConfig>
</dbServer>
</amoeba:dbServers>
2、amoeba.xml
[root@localhost /amoeba/amoeba-mysql-3.0.5-RC/conf]# cat amoeba.xml
<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
<proxy>
<!-- service class must implements com.meidusa.amoeba.service.Service -->
<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
<!-- port -->
<property name="port">8066</property> #amoeba监听端口，默认8066
<!-- bind ipAddress -->
<property name="ipAddress">192.168.80.133</property> #amoeba安装地址
<property name="connectionFactory">
<bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
<property name="sendBufferSize">128</property>
<property name="receiveBufferSize">64</property>
</bean>
</property>
<property name="authenticateProvider">
<bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
<property name="user">root</property> #设置客户端连接amoeba所需的用户名和密码
<property name="password">123456</property>
<property name="filter">
<bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
<property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
</bean>
</property>
</bean>
</property>
</service>
<runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
<!-- proxy server client process thread size -->
<property name="executeThreadSize">128</property>
<!-- per connection cache prepared statement size -->
<property name="statementCacheSize">500</property>
<!-- default charset -->
<property name="serverCharset">utf8</property>
<!-- query timeout( default: 60 second , TimeUnit:second) -->
<property name="queryTimeout">60</property>
</runtime>
</proxy>
<!--
Each ConnectionManager will start as thread
manager responsible for the Connection IO read , Death Detection
-->
<connectionManagerList>
<connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
<property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
</connectionManager>
</connectionManagerList>
<!-- default using file loader -->
<dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
<property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
</dbServerLoader>
<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
<property name="ruleLoader">
<bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
<property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
<property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
</bean>
</property>
<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
<property name="LRUMapSize">1500</property>
<property name="defaultPool">write</property> #设置amoeba默认池
<property name="writePool">write</property> #设置amoeba 写池，默认注释
<property name="readPool">read</property> #设置amoeba读池，默认注释
<property name="needParse">true</property>
</queryRouter>
</amoeba:configuration>
3、主和从库都要对该服务器开启访问权限
mysql> grant all on *.* to 'root'@'192.168.32.131' identified by '123456';
4、修改jvm.properties
[root@localhost /amoeba/amoeba-mysql-3.0.5-RC]# vim jvm.properties
JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k -XX:PermSize=16m -XX:MaxPermSize=96m"
5、对外开放端口8066
[root@localhost ~]# firewall-cmd --zone=public --add-port=8066/tcp
[root@localhost ~]# firewall-cmd --zone=public --add-port=8066/tcp --permanent
6、amoeba的启动和关闭
./launcher & //启动
./shutdown //停止
ps aux | grep amoeba //查看进程
7、到本地或其他服务器操作–查看和验证
//随便查某个数据或写某个数据
//或者让项目直接连接这个代理
mysql -uroot -proot -P8066 -h192.168.32.131
三、从库新增
参考：
https://blog.csdn.net/weixin_35652867/article/details/113300137
https://www.cnblogs.com/linuxk/p/9372990.html
1、数据备份
xtrabackup ： innobackupex、xtrabackup
mysqldump：
我用的是xtrabackup
1.1 xtrabacku优点：
xtrabacku优点：
（1）备份速度快，物理备份可靠
（2）备份过程不会打断正在执行的事务（无需锁表）
（3）能够基于压缩等功能节约磁盘空间和流量
（4）自动备份校验
（5）还原速度快
（6）可以流传将备份传输到另外一台机器上
（7）在不增加服务器负载的情况备份数据
1.2 xtrabackup安装步骤
1.xtrabackup工具（主库和从库都要安装）
#下载epel源
wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-6.repo
#安装依赖（最好先安装依赖，再解压）
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
#下载Xtrabackup （版本可以改）
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
#安装
[root@db03 ~]# yum localinstall -y percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
#安装好后的命令
[root@db03 ~]# xtrabackup
[root@db03 ~]# innobackupex
2.主库操作（绿色部分可以删除）
/*
一般的备份不需要锁，如果添加从的话就要锁了
锁表：FLUSH TABLES WITH READ LOCK;
释放锁： UNLOCK TABLES; //从库数据同步完了就可以解锁了
*/
//-S /tmp/mysql.sock可以删除掉
xtrabackup --user=back --password=123456 --databases=test --target-dir=/root/mysql_bak -S /tmp/mysql.sock --backup//备份数据库test --多个库--databases="test1 test2 test3"
//xtrabackup --user=back --password=123456 --databases="test test_new" --target-dir=/root/mysql_bak/20210712 --backup
#tar -zcvf ./20190305.tar.gz ./20190305 /也可以先压缩再拷贝过去
scp -pr /root/mysql_bak/* root@192.168.32.130:/root/mysql_slave //远程拷贝
3.从库操作
预先建目录：mkdir /root/mysql_slave /root/mysql_bak //分别用于保存远程拷贝过来的数据库和自身数据库备份
停止数据库：service mysql stop
备份当前的从库：mv /usr/local/mysql/var/* /root/mysql_bak
主库数据准备和复制备份操作：全量备份+增量备份+全量备份+拷贝 或 全量备份+拷贝
xtrabackup --prepare --target-dir=/root/mysql_slave/20210712 //全量备份
xtrabackup --copy-back --target-dir=/root/mysql_slave/20210712 //拷贝
//xtrabackup --defaults-file="/etc/my.cnf" --prepare --target-dir=/root/mysql_slave
//xtrabackup --defaults-file="/usr/local/mysql/var" --copy-back --target-dir=/root/mysql_slave //拷贝
原本自身的从库数据复制回去：注意（ib_buffer_pool、ibdata1、ib_logfile0、ib_logfile1）这四个文件不能覆盖（如果从库有其他数据则需要这一步）
cp -r /root/mysql_bak/* /usr/local/mysql/var/ (一定要)
启动从库：
chown -R mysql.mysql /usr/local/mysql/var
service mysql start
//这里可能会报Starting MySQL.. ERROR! The server quit without updating PID file (/usr/local/mysql/var/localhost.localdomain.pid)
解决：可能是localhost.localdomain.pid文件mysql用户没有权限：chown -R mysql.mysql /usr/local/mysql/var
//可能mysql已经在进程里了
ps -ef|grep mysql
kill -9 进程号
2、按照上面的‘从库服务器配置’
搞定！！希望对各位有帮助！！
157
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
