延迟复制:
STOP SLAVE SQL_THREAD;
CHANGE MASTER TO MASTER_DELAY=60;
START SLAVE SQL_THREAD;
show slave status\G;
慢查询:
set global slow_query_log=ON;
show variables like "long%";
set long_query_time=5;
show status like '%slow%';
五、MySQL路由器
1.MySQL路由器配置
在server4执行
[root@server4 ~]# rpm -ivh mysql-router-community-8.0.21-1.el7.x86\_64.rpm
[root@server4 ~]# vim /etc/mysqlrouter/mysqlrouter.conf
[routing:ro]
bind_address = 0.0.0.0
bind_port = 7001
destinations = 172.25.1.1:3306,172.25.1.2:3306,172.25.1.3:3306
routing_strategy = round-robin
[routing:rw]
bind_address = 0.0.0.0
bind_port = 7002
destinations = 172.25.1.1:3306,172.25.1.2:3306,172.25.1.3:3306
routing_strategy = first-available
[root@server4 ~]# systemctl start mysqlrouter.service
mysql> grant all on test.* to sun@'%' identified by 'westos'; ##创建一个远程登录的用户
测试:
[root@Sun_s Desktop]# mysql -h 172.25.1.4 -P 7001 -u sun -p
在真机测试连接路由ip 登陆mysql
路由只能实现调度,负载均衡,不能实现读写分离。
[root@server1 ~]# lsof -i :3306
查看日志:cat /var/log/mysqlrouter/mysqlrouter.log
当连接server1 down掉之后会自动跳转到server2上
由于mysql路由器的7001端口采用的使轮询的调度算法,所以每次连接到的后端真实的数据库都是一次变化的
六、MHA 高可用
MHA全称Master High Availability,也就是主节点的高可用,是目前比较成熟的MySQL高可用解决方案。它的主要功能主要是通过一个manager节点来监控主节点和从节点的状况,并会在主节点发生故障的时候,自动将一个数据最贴近Master的从节点转化成主节点。实现自动的故障转移。
MHA的变成语言是Perl,需要安装一些软件包来进行编译操作,但是总体的编译过程十分地简单。
1.实验环境搭建
还原环境,保证实验环境的纯净,三台机子操作相同
[root@server1 mysql]# /etc/init.d/mysqld stop
[root@server1 mysql]# rm -fr /data/mysql/\*
[root@server1 mysql]# mysqld --initialize --user=mysql
[root@server1 mysql]# /etc/init.d/mysqld start
[root@server1 mysql]# mysql -p
输入刚才初始化得到的密码
进入之后修改登陆密码
mysql> alter user root@localhost identified by 'westos';
创造新的MHA高可用环境
1.首先需要配成一主两从
vim /etc/my.cnf
[mysqld]
basedir=/usr/local/mysql
datadir=/data/mysql
socket=/data/mysql/mysql.sock
server_id=1 #每个数据库都有一个不一样ID
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
log_slave_updates=ON
log_bin=binlog
binlog_format=ROW
master:server1:
mysql> grant replication slave on *.* to repl@'%' identified by 'westos'; ##设置复制用户
mysql> grant all on *.* to root@'%' identified by 'westos'; ## 更改root登陆权限
slave:server2,server3
mysql> grant replication slave on *.* to repl@'%' identified by 'westos';
mysql> change master to master_host='172.25.1.1',master_user='repl',master_password='westos',MASTER_AUTO_POSITION = 1;
mysql> start slave;
server4 #MHA Manager(管理节点)
[root@server4 ~]# cd MHA-7/
[root@server4 MHA-7]# yum install /root/MHA-7/\*.rpm -y
[root@server4 MHA-7]# ssh-keygen ##给server1 2 3 都做免密登陆操作
[root@server4 MHA-7]# ssh-copy-id server1
[root@server4 MHA-7]# ssh-copy-id server2
[root@server4 MHA-7]# ssh-copy-id server3
[root@server4 MHA-7]# scp mha4mysql-node-0.58-0.el7.centos.noarch.rpm server1:
[root@server4 MHA-7]# scp mha4mysql-node-0.58-0.el7.centos.noarch.rpm server2:
[root@server4 MHA-7]# scp mha4mysql-node-0.58-0.el7.centos.noarch.rpm server3:
[root@server4 MHA-7]# tar xzf mha4mysql-manager-0.58.tar.gz
[root@server4 MHA-7]# cd /root/MHA-7/mha4mysql-manager-0.58/samples/conf
[root@server4 conf]# ls
app1.cnf masterha_default.cnf
[root@server4 conf]# mkdir /etc/masterha
[root@server4 conf]# cp app1.cnf /etc/masterha/
这里还需要将 masterha_default.cnf 里的内容复制到 /etc/masterha/app1.cnf 中
[root@server4 masterha]# mkdir /etc/masterha/app1 ##配置文件中日志存放的默认路径
[root@server1 ~]# yum install mha4mysql-node-0.58-0.el7.centos.noarch.rpm -y
server2 server3相同
# vim /etc/masterha/app.conf
[server default]
user=root #mysql主从节点的管理员用户密码,确保可以从远程登陆
password=westos
ssh_user=root #ssh用户名
master_binlog_dir= /data/mysql
remote_workdir=/tmp #远端mysql在发生切换时binlog的保存位置
secondary_check_script= masterha_secondary_check -s 172.25.1.1 -s 172.25.1.2
ping_interval=3 #发送ping包的时间间隔,默认是3秒,尝试三次没有回应的时候自动进行failover
# master\_ip\_failover\_script= /script/masterha/master\_ip\_failover #failover自动切换脚本
# shutdown\_script= /script/masterha/power\_manager #故障发生后关闭故障主机脚本,防止脑裂
# report\_script= /script/masterha/send\_report #发生切换后发送报警的脚本
# master\_ip\_online\_change\_script= /script/masterha/master\_ip\_online\_change #手动切换脚本
manager_workdir=/etc/masterha/app1 #manager工作目录
manager_log=/etc/masterha/app1/manager.log #manager日志文件
repl_user=repl #主从复制用户密码
repl_password=westos
[server1]
hostname=172.25.1.1
[server2]
hostname=172.25.1.2
candidate_master=1 #指定failover时此slave会接管master,即使数据不是最新的
check_repl_delay=0 #默认情况下如果一个slave落后master 100M的relay logs的话,MHA将不会选择该slave作为一个新的master,因为对于这个slave的恢复需要花费很长时间,通过设置check\_repl\_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时,这个参数对于设置了candidate\_master=1的主机非常有用,因为这个候选主在切换的过程中一定是新的master
[server3]
hostname=172.25.1.3
no_master=1 #始终是slave
server4 为了让123之间也彼此免密
[root@server4 ~]# scp -r .ssh/ server1:
[root@server4 ~]# scp -r .ssh/ server2:
[root@server4 ~]# scp -r .ssh/ server3:
Manager工具包主要包括以下几个工具:
masterha_check_ssh | //检查MHA的SSH配置状况 |
---|---|
masterha_check_repl | //检查MySQL复制状况 |
masterha_manger | 启动MHA |
masterha_check_status | //检测当前MHA运行状态 |
masterha_master_monitor | /检测master是否宕机 |
masterha_master_switch | //控制故障转移(自动或者手动) |
masterha_conf_host | //添加或删除配置的server信息 |
save_binary_logs | /保存和复制master的二进制日志 |
apply_diff_relay_logs | //识别差异的中继日志事件并将其差异的事件应用于其他的slave |
filter_mysqlbinlog | //去除不必要的ROLLBACK事件(MHA已不再使用这个工具) |
purge_relay_logs | //清除中继日志(不会阻塞SQL线程) |
[root@server4 ~]# masterha\_check\_ssh --conf=/etc/masterha/app1.cnf ##检测免密
[root@server4 ~]# masterha\_check\_repl --conf=/etc/masterha/app1.cnf ## 检测复制用户
2.测试高可用
(1)手动切换:
当master在线时 切换master,从1-2
# masterha\_master\_switch --conf=/etc/masterha/app1.cnf --master\_state=alive --new\_master\_host=172.25.1.2 --new\_master\_port=3306 --orig\_master\_is\_new\_slave --running\_updates\_limit=10000
查看效果
从server1里查看效果,server1已经变成slave,serve2 变成了master
MHA在线切换的大概过程:
1.检测复制设置和确定当前主服务器
2.确定新的主服务器
3.阻塞写入到当前主服务器
4.等待所有从服务器赶上复制
5.授予写入到新的主服务器
6.重新设置从服务器
为了保证数据完全一致性,在最快的时间内完成切换,MHA的在线切换必须满足以下条件才会切换成功,否则会切换失败。
1.所有slave的IO线程都在运行
2.所有slave的SQL线程都在运行
3.所有的show slave status的输出中Seconds_Behind_Master参数小于或者等于running_updates_limit秒,如果在切换过程中不指定running_updates_limit,那么默认情况下running_updates_limit为1秒。
4.在master端,通过show processlist输出,没有一个更新花费的时间大于running_updates_limit秒。
当master down 掉时,master从server2变成server1
[root@server2 ~]# /etc/init.d/mysqld stop
[root@server4 ~]# masterha\_master\_switch --master\_state=dead --conf=/etc/masterha/app1.cnf --dead\_master\_host=172.25.1.2 --dead\_master\_port=3306 --new\_master\_host=172.25.1.1 --new\_master\_port=3306 --ignore\_last\_failover
查看效果
mysql> CHANGE MASTER TO MASTER_HOST='172.25.1.1', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='westos'; mysql> start slave;
master 已经成功由2-1
(2)自动切换
[root@server1 ~]# /etc/init.d/mysqld stop
[root@server4 masterha]# ls
app1 app1.cnf
[root@server4 masterha]# cd app1/
[root@server4 app1]# ls
app1.failover.complete manager.log
[root@server4 app1]# rm -fr app1.failover.complete
删除刚才生成的日志,不然实现不了
[root@server4 masterha]# masterha\_manager --conf=/etc/masterha/app1.cnf &
查看效果
[root@server1 ~]# /etc/init.d/mysqld start
[root@server1 ~]# mysql -p
mysql> CHANGE MASTER TO MASTER_HOST=‘172.25.1.2’, MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER=‘repl’, MASTER_PASSWORD=‘westos’;
mysql> start slave;
master 由1变成2
MHA的故障切换过程,共包括以下的步骤:
1.配置文件检查阶段,这个阶段会检查整个集群配置文件配置
2.宕机的master处理,这个阶段包括虚拟ip摘除操作,主机关机操作
3.复制dead maste和最新slave相差的relay log,并保存到MHA Manger具体的目录下
4.识别含有最新更新的slave
5.应用从master保存的二进制日志事件(binlog events)
6.提升一个slave为新的master进行复制
7.使其他的slave连接新的master进行复制
3.加入VIP
[root@server4 masterha]# vim app1.cnf
[root@server4 masterha]# vim master\_ip\_failover
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
use Getopt::Long;
my (
$command, $ssh\_user, $orig\_master\_host, $orig\_master\_ip,
$orig\_master\_port, $new\_master\_host, $new\_master\_ip, $new\_master\_port
);
my $vip = '172.25.1.100/24';
my $ssh\_start\_vip = "/sbin/ip addr add $vip dev eth0";
my $ssh\_stop\_vip = "/sbin/ip addr del $vip dev eth0";
GetOptions(
'command=s' => \$command,
'ssh\_user=s' => \$ssh\_user,
'orig\_master\_host=s' => \$orig\_master\_host,
'orig\_master\_ip=s' => \$orig\_master\_ip,
'orig\_master\_port=i' => \$orig\_master\_port,
'new\_master\_host=s' => \$new\_master\_host,
'new\_master\_ip=s' => \$new\_master\_ip,
'new\_master\_port=i' => \$new\_master\_port,
);
exit &main();
sub main {
print "\n\nIN SCRIPT TEST====$ssh\_stop\_vip==$ssh\_start\_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
my $exit\_code = 1;
eval {
print "Disabling the VIP on old master: $orig\_master\_host \n";
&stop_vip();
$exit\_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit\_code;
}
exit $exit\_code;
}
elsif ( $command eq "start" ) {
my $exit\_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new\_master\_host \n";
&start_vip();
$exit\_code = 0;
};
if ($@) {
warn $@;
exit $exit\_code;
}
exit $exit\_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh\_user\@$new\_master\_host \" $ssh\_start\_vip \"`;
}
sub stop_vip() {
return 0 unless ($ssh\_user);
`ssh $ssh\_user\@$orig\_master\_host \" $ssh\_stop\_vip \"`;
}
sub usage {
print
"Usage: master\_ip\_failover --command=start|stop|stopssh|status --orig\_master\_host=host --orig\_master\_ip=ip --orig\_master\_port=port --new\_master\_host=host --new\_master\_ip=ip --new\_master\_port=port\n";
}
[root@server4 masterha]# vim master\_ip\_online\_change
#!/usr/bin/env perl
use strict;
use warnings FATAL =>'all';
use Getopt::Long;
my $vip = '172.25.1.100/24'; # Virtual IP
my $ssh\_start\_vip = "/sbin/ip addr add $vip dev eth0";
my $ssh\_stop\_vip = "/sbin/ip addr del $vip dev eth0";
my $exit\_code = 0;
my (
$command, $orig\_master\_is\_new\_slave, $orig\_master\_host,
$orig\_master\_ip, $orig\_master\_port, $orig\_master\_user,
$orig\_master\_password, $orig\_master\_ssh\_user, $new\_master\_host,
$new\_master\_ip, $new\_master\_port, $new\_master\_user,
$new\_master\_password, $new\_master\_ssh\_user,
);
GetOptions(
'command=s' => \$command,
'orig\_master\_is\_new\_slave' => \$orig\_master\_is\_new\_slave,
'orig\_master\_host=s' => \$orig\_master\_host,
'orig\_master\_ip=s' => \$orig\_master\_ip,
'orig\_master\_port=i' => \$orig\_master\_port,
'orig\_master\_user=s' => \$orig\_master\_user,
'orig\_master\_password=s' => \$orig\_master\_password,
'orig\_master\_ssh\_user=s' => \$orig\_master\_ssh\_user,
'new\_master\_host=s' => \$new\_master\_host,
'new\_master\_ip=s' => \$new\_master\_ip,
'new\_master\_port=i' => \$new\_master\_port,
'new\_master\_user=s' => \$new\_master\_user,
'new\_master\_password=s' => \$new\_master\_password,
'new\_master\_ssh\_user=s' => \$new\_master\_ssh\_user,
);
exit &main();
sub main {
#print "\n\nIN SCRIPT TEST====$ssh\_stop\_vip==$ssh\_start\_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
if ( $command eq "stop" || $command eq "stopssh" ) {
# $orig\_master\_host, $orig\_master\_ip, $orig\_master\_port are passed.
# If you manage master ip address at global catalog database,
# invalidate orig\_master\_ip here.
my $exit\_code = 1;
eval {
print "\n\n\n\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\n";
print "Disabling the VIP - $vip on old master: $orig\_master\_host\n";
print "\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\n\n\n\n";
&stop_vip();
$exit\_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit\_code;
}
}
exit $exit\_code;
}
elsif ( $command eq "start" ) {
# all arguments are passed.
# If you manage master ip address at global catalog database,
# activate new\_master\_ip here.
# You can also grant write access (create user, set read\_only=0, etc) here.
my $exit\_code = 10;
eval {
print "\n\n\n\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\n";
print "Enabling the VIP - $vip on new master: $new\_master\_host \n";
print "\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\n\n\n\n";
&start_vip();
$exit\_code = 0;
};
if ($@) {
warn $@;
exit $exit\_code;
}
exit $exit\_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
`ssh $orig\_master\_ssh\_user\@$orig\_master\_host \" $ssh\_start\_vip \"`;
exit 0;
}
else {
&usage();
exit 1;
}
}
# A simple system call that enable the VIP on the new master
sub start_vip() {
`ssh $new\_master\_ssh\_user\@$new\_master\_host \" $ssh\_start\_vip \"`;
}
# A simple system call that disable the VIP on the old\_master
sub stop_vip() {
`ssh $orig\_master\_ssh\_user\@$orig\_master\_host \" $ssh\_stop\_vip \"`;
}
sub usage {
print
"Usage: master\_ip\_failover --command=start|stop|stopssh|status --orig\_master\_host=host --orig\_master\_ip=ip --orig\_master\_port=port --new\_master\_host=host --new\_master\_ip=ip --new\_master\_port=port\n";
}
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Linux运维工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Linux运维知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip1024b (备注Linux运维获取)
,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**
因此收集整理了一份《2024年Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
[外链图片转存中…(img-7pbFyXkH-1712690861311)]
[外链图片转存中…(img-lWLp90o1-1712690861311)]
[外链图片转存中…(img-foqg3sQt-1712690861311)]
[外链图片转存中…(img-pvE6L3GM-1712690861312)]
[外链图片转存中…(img-grcNAhhn-1712690861312)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Linux运维知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip1024b (备注Linux运维获取)
[外链图片转存中…(img-OFLDsIxX-1712690861312)]