190123_mysql主从集群,主从复制,读写分离的配置

==================================================搭建3台单机mysql==================================================
# 查看进程
ps -aux |less
kill -9 `mysql的PID`
# 查看端口
netstat -antp
lsof -c mysql
# 添加mysql用户组和mysql用户
groupadd mysql && useradd -g mysql mysql -d /home/mysql
# 修改mysql用户的登陆密码
passwd mysql
# centos7,mysql账户登录,下载二进制包
su mysql
cd ~;wget http://mirrors.sohu.com/mysql/MySQL-5.7/mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz
# 解压
tar -zxvf mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz
mv ~/mysql-5.7.23-linux-glibc2.12-x86_64 ~/mysql-5.7.23 && rm -rf ~/mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz
# 创建临时目录、数据目录和日志目录
cd ~/mysql-5.7.23 && mkdir data log tmp && chmod -R 755 ~
# 创建配置文件
sudo tee /etc/my.cnf<<-'EOF'
# 客户端设置
[client]
port = 1127
socket = /home/mysql/mysql-5.7.23/tmp/mysql.sock    # 用于本地连接的socket套接字,mysqld守护进程生成了这个文件
# 服务端基本设置
[mysqld]
# 基本设置
server-id = 1                                       # Mysql服务的唯一编号,每个mysql服务Id需唯一
port = 1127                                         # MySQL监听端口
basedir = /home/mysql/mysql-5.7.23                  # MySQL安装根目录
datadir = /home/mysql/mysql-5.7.23/data             # MySQL数据文件所在位置
tmpdir  = /home/mysql/mysql-5.7.23/tmp              # 临时目录,比如load data infile会用到
socket  = /home/mysql/mysql-5.7.23/tmp/mysql.sock   # 为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件
pid-file= /home/mysql/mysql-5.7.23/log/mysql.pid    # pid文件所在目录
skip_name_resolve = 1                               # 只能用IP地址检查客户端的登录,不用主机名
character-set-server = utf8mb4                      # 数据库默认字符集,主流字符集支持一些特殊表情符号（特殊表情符占用4个字节）
transaction_isolation = READ-COMMITTED              # 事务隔离级别,默认为可重复读,MySQL默认可重复读级别
collation-server = utf8mb4_general_ci               # 数据库字符集对应一些排序等规则,注意要和character-set-server对应
init_connect='SET NAMES utf8mb4'                    # 设置client连接mysql时的字符集,防止乱码
lower_case_table_names = 1                          # 是否对sql语句大小写敏感,1表示不敏感
max_connections = 400                               # 最大连接数
max_connect_errors = 1000                           # 最大错误连接数
explicit_defaults_for_timestamp = true              # TIMESTAMP如果没有显示声明NOT NULL,允许NULL值
max_allowed_packet = 128M                           # SQL数据包发送的大小,如果有BLOB对象建议修改成1G
interactive_timeout = 1800                          # MySQL连接闲置超过一定时间后(单位：秒)将会被强行关闭
wait_timeout = 1800                                 # MySQL默认的wait_timeout值为8个小时, interactive_timeout参数需要同时配置才能生效
tmp_table_size = 16M                                # 内部内存临时表的最大值 ,设置成128M;比如大数据量的group by ,order by时可能用到临时表;超过了这个值将写入磁盘,系统IO压力增大
max_heap_table_size = 128M                          # 定义了用户可以创建的内存表(memory table)的大小
query_cache_size = 0                                # 禁用mysql的缓存查询结果集功能;后期根据业务情况测试决定是否开启;大部分情况下关闭下面两项
query_cache_type = 0
# 用户进程分配到的内存设置,每个session将会分配参数设置的内存大小
read_buffer_size = 2M                               # MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySQL会为它分配一段内存缓冲区。
read_rnd_buffer_size = 8M                           # MySQL的随机读缓冲区大小
sort_buffer_size = 8M                               # MySQL执行排序使用的缓冲大小
binlog_cache_size = 1M                              # 一个事务,在没有提交的时候,产生的日志,记录到Cache中;等到事务提交需要提交的时候,则把日志持久化到磁盘。默认binlog_cache_size大小32K
back_log = 130                                      # 在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中;官方建议back_log = 50 + (max_connections / 5),封顶数为900
# 日志设置
log_error = /home/mysql/mysql-5.7.23/log/error.log  # 数据库错误日志文件
slow_query_log = 1                                  # 慢查询sql日志设置
long_query_time = 1                                 # 慢查询时间;超过1秒则为慢查询
slow_query_log_file = /home/mysql/mysql-5.7.23/log/slow.log # 慢查询日志文件
log_queries_not_using_indexes = 1                   # 检查未使用到索引的sql
log_throttle_queries_not_using_indexes = 5          # 用来表示每分钟允许记录到slow log的且未使用索引的SQL语句次数。该值默认为0,表示没有限制
min_examined_row_limit = 100                        # 检索的行数必须达到此值才可被记为慢查询,查询检查返回少于该参数指定行的SQL不被记录到慢查询日志
expire_logs_days = 5                                # MySQL binlog日志文件保存的过期时间,过期后自动删除
# 主从复制设置
log-bin          = mysql-bin                        # 开启mysql binlog功能
binlog_format    = ROW                              # binlog记录内容的方式,记录被操作的每一行
binlog_row_image = minimal                          # 对于binlog_format = ROW模式时,减少记录日志的内容,只记录受影响的列
binlog_ignore_db = mysql                            # 复制时忽略名为mysql数据库
#binlog-do-db    = wordpress                        # 表示只备份名为wordpress的数据库
#sync_binlog     = 1
# Innodb设置
innodb_open_files = 500                             # 限制Innodb能打开的表的数据,如果库里的表特别多的情况,请增加这个。这个值默认是300
innodb_buffer_pool_size = 64M                       # InnoDB使用一个缓冲池来保存索引和原始数据,一般设置物理存储的60% ~ 70%;这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少
innodb_log_buffer_size = 2M                         # 此参数确定写日志文件所用的内存大小,以M为单位。缓冲区更大能提高性能,但意外的故障将会丢失数据。MySQL开发人员建议设置为1－8M之间
innodb_flush_method = O_DIRECT                      # O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突
#innodb_flush_log_at_trx_commit=1
innodb_write_io_threads = 4                         # CPU多核处理能力设置,根据读,写比例进行调整
innodb_read_io_threads = 4
innodb_lock_wait_timeout = 120                      # InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务,默认值是50秒
innodb_log_file_size = 32M                          # 此参数确定数据日志文件的大小,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间
# language指定
language=/home/mysql/mysql-5.7.23/share/english

EOF
# 开放执行权限给mysql用户(其他用户可读不可写)
sudo chown -R mysql:mysql /etc/my.* && sudo chmod 644 /etc/my.*
# 对所有节点的mysql账号添加环境变量
echo '' >>~/.bashrc
echo '# set mysql environment' >>~/.bashrc
echo 'export MYSQL_HOME=/home/mysql/mysql-5.7.23' >>~/.bashrc
echo 'export PATH=${MYSQL_HOME}/bin:${PATH}' >>~/.bashrc
# 立即生效
source ~/.bashrc
# 在所有节点的所有账号,检查环境变量是否生效(若地址都一致,则生效了)
which mysql;which mysqldump;which mysqld;which mysqld_safe
whereis mysql;whereis mysqldump;whereis mysqld;whereis mysqld_safe
# mysql用户登录
su mysql
# 初始化数据库,并指定启动mysql的用户
mysqld --initialize --user=mysql
# 记住初始密码
cat ~/mysql-5.7.23/log/error.log |grep password
# 将启动脚本链接到系统服务
sudo ln -s ~/mysql-5.7.23/support-files/mysql.server /etc/rc.d/init.d/ && sudo chmod 755 -R /etc/rc.d/init.d/
# 将mysqld服务加入到系统服务
sudo chkconfig --add mysql.server
# 检查mysqld服务是否已经生效
sudo chkconfig --list mysql.server
# 启动mysql.server
sudo systemctl start mysql.server
# 登录mysql
mysql -uroot -p
# 修改密码
mysql> set password for root@localhost=password("root");
mysql> set password for root@localhost=password("root");
mysql> set password for root@localhost=password("root");
==================================================将3台单机mysql建成主从复制和读写分离==================================================
# 查询所有节点的mysql数据库的server_id(必须是互不相同的整数,否则需要先关闭每个节点的mysql服务,并修改每个节点上的/etc/my.cnf文件中的server_id的值,再启动每个节点上mysql服务)
mysql> show variables like 'server_id';
mysql> show variables like 'server_id';
mysql> show variables like 'server_id';
# 关闭3台mysql服务
sudo systemctl stop mysql.server
# 修改3台mysql的/etc/my.cnf的配置(server-id分别改为2,3)
# 开启3台mysql服务(使配置生效)
sudo systemctl start mysql.server
# 创建主节点上mysql用户,用户名为test,该用户只能在本地登录,不能在其他机器上远程登录,若想远程登录,需将"localhost"改为"%",表示在任何一台电脑上都可以登录,也可以指定某节点ip,即只能在该节点上远程登录
mysql -uroot -p
# 对3台mysql都授权dba_every_where用户拥有所有数据库的select,insert,update,delete,create,drop权限,可以在任意节点登录,dba_every_where用户密码为'dba_every_where'
mysql> grant select,insert,update,delete,create,drop on *.* to dba_every_where@"%" identified by "dba_every_where";
mysql> grant select,insert,update,delete,create,drop on *.* to dba_every_where@"%" identified by "dba_every_where";
mysql> grant select,insert,update,delete,create,drop on *.* to dba_every_where@"%" identified by "dba_every_where";
# 对其中一个从节点,单独授权client_every_where用户拥有所有数据库的select权限,可以在任意机器登录,dba_every_where用户密码为'client_every_where'
mysql> grant select on *.* to client_every_where@"%" identified by "client_every_where";
# 在主节点的mysql上锁定数据库以防止写入数据,并退出所有节点的mysql的当前用户
mysql> flush tables with read lock;
# 将主节点原有的数据发送到从节点
mysqldump -uroot -proot --all-databases  --lock-tables=false  -- > ~/all.sql
# 使用scp命令传输数据库文件all.sql到从节点
scp ~/all.sql yangshaojie@'192.168.220.221':~
scp ~/all.sql yangshaojie@'192.168.220.222':~
rm -rf ~/all.sql
# 在从节点上mysql,导入主节点上mysql原有的数据库
mysql -uroot -proot <~/all.sql
rm -rf ~/all.sql
# 解除主节点上mysql的数据表写入限制
mysql> unlock tables;
# 在主节点上重新以root账号登录mysql,在主节点的mysql上授权slave_remote_login用户主从复制权限,只对从节点授权,密码均为slave_remote_login
mysql> grant replication slave on *.* to 'slave_remote_login'@'192.168.220.221:1127' identified by 'slave_remote_login';
mysql> grant replication slave on *.* to 'slave_remote_login'@'192.168.220.222:1127' identified by 'slave_remote_login';
# 查询主节点上mysql状态,记下显示的信息,配置从服务器会用到
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 |    2125  |              | mysql            |                   |
+------------------+----------+--------------+------------------+-------------------+
# 关闭2台从mysql的数据同步
mysql> stop slave;
mysql> stop slave;
# 在所有从节点上重新以root账号登录mysql,配置2台从节点mysql的主从自动复制账号(主从复制的原理是主节点mysql的binlog日志中记录所有mysql数据库信息的修改,然后从节点mysql通过分析主节点mysql的binlog日志,获得要同步的内容,所以这里要查询的信息就是——要从哪个file同步,并且从哪个position开始同步,到这里以后,请不要再对主节点mysql做任何配置或者数据的修改,直到从节点mysql配置完成,不然会出现信息同步错误,复制(replication)是从主节点mysql数据库复制数据到从节点mysql数据库的一个进程)
mysql> change master to master_host='192.168.220.220',master_port=1127,master_user='slave_remote_login',master_password='slave_remote_login',master_log_file='mysql-bin.000002',master_log_pos=2125;
mysql> change master to master_host='192.168.220.220',master_port=1127,master_user='slave_remote_login',master_password='slave_remote_login',master_log_file='mysql-bin.000002',master_log_pos=2125;
# 启动2台从mysql的数据同步
mysql> start slave;
mysql> start slave;
# 检查2台从节点mysql的状态(若slave_io_running和slave_sql_running不都为yes,则配置失败)
mysql> show slave status;
mysql> show slave status;
# 刷新3台mysql的系统权限表
mysql> flush privileges;
mysql> flush privileges;
mysql> flush privileges;
# 查询所有节点的mysql账号及权限
mysql> select a.host,a.user,a.select_priv,a.insert_priv,a.update_priv,a.delete_priv,a.create_priv,a.drop_priv from mysql.user a where a.host!='localhost';
+----------------------+--------------------+-------------+-------------+-------------+-------------+-------------+-----------+
| host                 | user               | select_priv | insert_priv | update_priv | delete_priv | create_priv | drop_priv |
+----------------------+--------------------+-------------+-------------+-------------+-------------+-------------+-----------+
| %                    | dba_every_where    | Y           | Y           | Y           | Y           | Y           | Y         |
| 192.168.220.222:1127 | slave_remote_login | N           | N           | N           | N           | N           | N         |
| 192.168.220.221:1127 | slave_remote_login | N           | N           | N           | N           | N           | N         |
+----------------------+--------------------+-------------+-------------+-------------+-------------+-------------+-----------+
mysql> select a.host,a.user,a.select_priv,a.insert_priv,a.update_priv,a.delete_priv,a.create_priv,a.drop_priv from mysql.user a where a.host!='localhost';
+------+--------------------+-------------+-------------+-------------+-------------+-------------+-----------+
| host | user               | select_priv | insert_priv | update_priv | delete_priv | create_priv | drop_priv |
+------+--------------------+-------------+-------------+-------------+-------------+-------------+-----------+
| %    | dba_every_where    | Y           | Y           | Y           | Y           | Y           | Y         |
| %    | client_every_where | Y           | N           | N           | N           | N           | N         |
+------+--------------------+-------------+-------------+-------------+-------------+-------------+-----------+
mysql> select a.host,a.user,a.select_priv,a.insert_priv,a.update_priv,a.delete_priv,a.create_priv,a.drop_priv from mysql.user a where a.host!='localhost';
+------+-----------------+-------------+-------------+-------------+-------------+-------------+-----------+
| host | user            | select_priv | insert_priv | update_priv | delete_priv | create_priv | drop_priv |
+------+-----------------+-------------+-------------+-------------+-------------+-------------+-----------+
| %    | dba_every_where | Y           | Y           | Y           | Y           | Y           | Y         |
+------+-----------------+-------------+-------------+-------------+-------------+-------------+-----------+
# 在不重启mysql主从集群的场景下查看配置参数,及修改数据库二进制日志的过期时间(原配置文件/etc/my.cnf中expire_logs_days设置为5天,默认值为0天,表示不会自动删除,也可以在登录mysql的root用户中修改)
mysql> show variables like '%log%';
mysql> set global expire_logs_days = 5;
# 查看有多少数据库文件
mysql> show binary logs;
# 查看本节点上mysql服务的端口号
mysql> show global variables like 'port';
# 在主节点上mysql创建测试数据库
create database `hi_db`;
use hi_db;
create table `hi_tb` (
    `id` int(5) not null auto_increment,
    `name` varchar(8) default null,
    primary key (`id`)
) engine=innodb default charset=latin1;
# 插入数据
insert into `hi_tb`(`id`,`name`) value(1,'xiaomi');
insert into `hi_tb`(`id`,`name`) value(2,'huawei');
insert into `hi_tb`(`id`,`name`) value(3,'apple');