nginx + mysql(主从复制,阿里P8大牛亲自讲解

延迟复制:

STOP SLAVE SQL_THREAD;
CHANGE MASTER TO MASTER_DELAY=60;
START SLAVE SQL_THREAD;
show slave status\G;

慢查询:

set global slow_query_log=ON;   
show variables like "long%";
set  long_query_time=5;
show status like '%slow%';

在这里插入图片描述

在这里插入图片描述

五、MySQL路由器

在这里插入图片描述

1.MySQL路由器配置

在server4执行

[root@server4 ~]# rpm -ivh mysql-router-community-8.0.21-1.el7.x86\_64.rpm
[root@server4 ~]# vim /etc/mysqlrouter/mysqlrouter.conf
[routing:ro]
bind_address = 0.0.0.0
bind_port = 7001
destinations = 172.25.1.1:3306,172.25.1.2:3306,172.25.1.3:3306
routing_strategy = round-robin

[routing:rw]
bind_address = 0.0.0.0
bind_port = 7002
destinations = 172.25.1.1:3306,172.25.1.2:3306,172.25.1.3:3306
routing_strategy = first-available
[root@server4 ~]# systemctl start mysqlrouter.service

在这里插入图片描述

mysql> grant all on test.* to sun@'%' identified by 'westos';    ##创建一个远程登录的用户

测试:
[root@Sun_s Desktop]# mysql -h 172.25.1.4 -P 7001 -u sun -p
在真机测试连接路由ip 登陆mysql
在这里插入图片描述
路由只能实现调度,负载均衡,不能实现读写分离。
[root@server1 ~]# lsof -i :3306在这里插入图片描述
查看日志:cat /var/log/mysqlrouter/mysqlrouter.log
在这里插入图片描述在这里插入图片描述
当连接server1 down掉之后会自动跳转到server2上
在这里插入图片描述在这里插入图片描述
由于mysql路由器的7001端口采用的使轮询的调度算法,所以每次连接到的后端真实的数据库都是一次变化的

六、MHA 高可用

MHA全称Master High Availability,也就是主节点的高可用,是目前比较成熟的MySQL高可用解决方案。它的主要功能主要是通过一个manager节点来监控主节点和从节点的状况,并会在主节点发生故障的时候,自动将一个数据最贴近Master的从节点转化成主节点。实现自动的故障转移。
MHA的变成语言是Perl,需要安装一些软件包来进行编译操作,但是总体的编译过程十分地简单。
在这里插入图片描述

1.实验环境搭建

还原环境,保证实验环境的纯净,三台机子操作相同

[root@server1 mysql]# /etc/init.d/mysqld stop
[root@server1 mysql]# rm -fr /data/mysql/\*
[root@server1 mysql]# mysqld --initialize --user=mysql
[root@server1 mysql]# /etc/init.d/mysqld start
[root@server1 mysql]# mysql -p
输入刚才初始化得到的密码
进入之后修改登陆密码
mysql> alter user root@localhost identified by 'westos';

创造新的MHA高可用环境
1.首先需要配成一主两从

vim /etc/my.cnf
[mysqld]
basedir=/usr/local/mysql
datadir=/data/mysql
socket=/data/mysql/mysql.sock
server_id=1  #每个数据库都有一个不一样ID
gtid_mode=ON
enforce_gtid_consistency=ON
master_info_repository=TABLE
relay_log_info_repository=TABLE
log_slave_updates=ON
log_bin=binlog
binlog_format=ROW


master:server1:
mysql> grant replication slave on *.* to repl@'%' identified by 'westos';   ##设置复制用户
mysql> grant all on *.* to root@'%' identified by 'westos'; ## 更改root登陆权限
slave:server2,server3
mysql> grant replication slave on *.* to repl@'%' identified by 'westos';
mysql> change master to master_host='172.25.1.1',master_user='repl',master_password='westos',MASTER_AUTO_POSITION = 1;
mysql> start slave;

server4 #MHA Manager(管理节点)

[root@server4 ~]# cd MHA-7/
[root@server4 MHA-7]# yum install /root/MHA-7/\*.rpm -y
[root@server4 MHA-7]# ssh-keygen ##给server1 2 3 都做免密登陆操作
[root@server4 MHA-7]# ssh-copy-id server1
[root@server4 MHA-7]# ssh-copy-id server2
[root@server4 MHA-7]# ssh-copy-id server3
[root@server4 MHA-7]# scp mha4mysql-node-0.58-0.el7.centos.noarch.rpm server1:
[root@server4 MHA-7]# scp mha4mysql-node-0.58-0.el7.centos.noarch.rpm server2:
[root@server4 MHA-7]# scp mha4mysql-node-0.58-0.el7.centos.noarch.rpm server3:
[root@server4 MHA-7]# tar xzf mha4mysql-manager-0.58.tar.gz
[root@server4 MHA-7]# cd /root/MHA-7/mha4mysql-manager-0.58/samples/conf
[root@server4 conf]# ls
app1.cnf  masterha_default.cnf
[root@server4 conf]# mkdir /etc/masterha
[root@server4 conf]# cp app1.cnf /etc/masterha/
这里还需要将 masterha_default.cnf 里的内容复制到 /etc/masterha/app1.cnf 中
[root@server4 masterha]# mkdir /etc/masterha/app1 ##配置文件中日志存放的默认路径

[root@server1 ~]# yum install mha4mysql-node-0.58-0.el7.centos.noarch.rpm -y
server2 server3相同

在这里插入图片描述

# vim /etc/masterha/app.conf
[server default]
user=root               #mysql主从节点的管理员用户密码,确保可以从远程登陆
password=westos
ssh_user=root              #ssh用户名
master_binlog_dir= /data/mysql
remote_workdir=/tmp           #远端mysql在发生切换时binlog的保存位置
secondary_check_script= masterha_secondary_check -s 172.25.1.1 -s 172.25.1.2
ping_interval=3                #发送ping包的时间间隔,默认是3秒,尝试三次没有回应的时候自动进行failover
# master\_ip\_failover\_script= /script/masterha/master\_ip\_failover #failover自动切换脚本
# shutdown\_script= /script/masterha/power\_manager #故障发生后关闭故障主机脚本,防止脑裂 
# report\_script= /script/masterha/send\_report #发生切换后发送报警的脚本
# master\_ip\_online\_change\_script= /script/masterha/master\_ip\_online\_change #手动切换脚本 

manager_workdir=/etc/masterha/app1     #manager工作目录
manager_log=/etc/masterha/app1/manager.log      #manager日志文件

repl_user=repl               #主从复制用户密码
repl_password=westos

[server1]
hostname=172.25.1.1
[server2]
hostname=172.25.1.2
candidate_master=1          #指定failover时此slave会接管master,即使数据不是最新的
check_repl_delay=0         #默认情况下如果一个slave落后master 100M的relay logs的话,MHA将不会选择该slave作为一个新的master,因为对于这个slave的恢复需要花费很长时间,通过设置check\_repl\_delay=0,MHA触发切换在选择一个新的master的时候将会忽略复制延时,这个参数对于设置了candidate\_master=1的主机非常有用,因为这个候选主在切换的过程中一定是新的master
[server3]
hostname=172.25.1.3
no_master=1        #始终是slave

server4    为了让123之间也彼此免密
[root@server4 ~]# scp -r .ssh/ server1:
[root@server4 ~]# scp -r .ssh/ server2:
[root@server4 ~]# scp -r .ssh/ server3:

在这里插入图片描述
Manager工具包主要包括以下几个工具:

masterha_check_ssh//检查MHA的SSH配置状况
masterha_check_repl//检查MySQL复制状况
masterha_manger启动MHA
masterha_check_status//检测当前MHA运行状态
masterha_master_monitor/检测master是否宕机
masterha_master_switch//控制故障转移(自动或者手动)
masterha_conf_host//添加或删除配置的server信息
save_binary_logs/保存和复制master的二进制日志
apply_diff_relay_logs//识别差异的中继日志事件并将其差异的事件应用于其他的slave
filter_mysqlbinlog//去除不必要的ROLLBACK事件(MHA已不再使用这个工具)
purge_relay_logs//清除中继日志(不会阻塞SQL线程)
[root@server4 ~]# masterha\_check\_ssh --conf=/etc/masterha/app1.cnf ##检测免密
[root@server4 ~]# masterha\_check\_repl --conf=/etc/masterha/app1.cnf ## 检测复制用户

在这里插入图片描述在这里插入图片描述

2.测试高可用

(1)手动切换:
当master在线时 切换master,从1-2

# masterha\_master\_switch --conf=/etc/masterha/app1.cnf --master\_state=alive --new\_master\_host=172.25.1.2 --new\_master\_port=3306 --orig\_master\_is\_new\_slave --running\_updates\_limit=10000

查看效果
在这里插入图片描述在这里插入图片描述
从server1里查看效果,server1已经变成slave,serve2 变成了master

MHA在线切换的大概过程:
1.检测复制设置和确定当前主服务器
2.确定新的主服务器
3.阻塞写入到当前主服务器
4.等待所有从服务器赶上复制
5.授予写入到新的主服务器
6.重新设置从服务器

为了保证数据完全一致性,在最快的时间内完成切换,MHA的在线切换必须满足以下条件才会切换成功,否则会切换失败。
1.所有slave的IO线程都在运行
2.所有slave的SQL线程都在运行
3.所有的show slave status的输出中Seconds_Behind_Master参数小于或者等于running_updates_limit秒,如果在切换过程中不指定running_updates_limit,那么默认情况下running_updates_limit为1秒。
4.在master端,通过show processlist输出,没有一个更新花费的时间大于running_updates_limit秒。

当master down 掉时,master从server2变成server1

[root@server2 ~]# /etc/init.d/mysqld stop
[root@server4 ~]# masterha\_master\_switch --master\_state=dead --conf=/etc/masterha/app1.cnf --dead\_master\_host=172.25.1.2 --dead\_master\_port=3306 --new\_master\_host=172.25.1.1 --new\_master\_port=3306 --ignore\_last\_failover

查看效果
在这里插入图片描述
mysql> CHANGE MASTER TO MASTER_HOST='172.25.1.1', MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER='repl', MASTER_PASSWORD='westos'; mysql> start slave;
在这里插入图片描述
在这里插入图片描述
master 已经成功由2-1

(2)自动切换

[root@server1 ~]# /etc/init.d/mysqld stop
[root@server4 masterha]# ls
app1  app1.cnf
[root@server4 masterha]# cd app1/
[root@server4 app1]# ls
app1.failover.complete  manager.log
[root@server4 app1]# rm -fr app1.failover.complete
删除刚才生成的日志,不然实现不了
[root@server4 masterha]# masterha\_manager --conf=/etc/masterha/app1.cnf &

查看效果
在这里插入图片描述
[root@server1 ~]# /etc/init.d/mysqld start
[root@server1 ~]# mysql -p
mysql> CHANGE MASTER TO MASTER_HOST=‘172.25.1.2’, MASTER_PORT=3306, MASTER_AUTO_POSITION=1, MASTER_USER=‘repl’, MASTER_PASSWORD=‘westos’;
mysql> start slave;
在这里插入图片描述在这里插入图片描述
master 由1变成2

MHA的故障切换过程,共包括以下的步骤:

1.配置文件检查阶段,这个阶段会检查整个集群配置文件配置

2.宕机的master处理,这个阶段包括虚拟ip摘除操作,主机关机操作

3.复制dead maste和最新slave相差的relay log,并保存到MHA Manger具体的目录下

4.识别含有最新更新的slave

5.应用从master保存的二进制日志事件(binlog events)

6.提升一个slave为新的master进行复制

7.使其他的slave连接新的master进行复制

3.加入VIP

[root@server4 masterha]# vim app1.cnf

在这里插入图片描述

[root@server4 masterha]# vim master\_ip\_failover
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';
use Getopt::Long;

my (
    $command,          $ssh\_user,        $orig\_master\_host, $orig\_master\_ip,
    $orig\_master\_port, $new\_master\_host, $new\_master\_ip,    $new\_master\_port
);

my $vip = '172.25.1.100/24';
my $ssh\_start\_vip = "/sbin/ip addr add $vip dev eth0";
my $ssh\_stop\_vip = "/sbin/ip addr del $vip dev eth0";

GetOptions(
    'command=s'          => \$command,
    'ssh\_user=s'         => \$ssh\_user,
    'orig\_master\_host=s' => \$orig\_master\_host,
    'orig\_master\_ip=s'   => \$orig\_master\_ip,
    'orig\_master\_port=i' => \$orig\_master\_port,
    'new\_master\_host=s'  => \$new\_master\_host,
    'new\_master\_ip=s'    => \$new\_master\_ip,
    'new\_master\_port=i'  => \$new\_master\_port,
);

exit &main();

sub main {

    print "\n\nIN SCRIPT TEST====$ssh\_stop\_vip==$ssh\_start\_vip===\n\n";

    if ( $command eq "stop" || $command eq "stopssh" ) {

        my $exit\_code = 1;
        eval {
            print "Disabling the VIP on old master: $orig\_master\_host \n";
            &stop_vip();
            $exit\_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit\_code;
        }
        exit $exit\_code;
    }
    elsif ( $command eq "start" ) {

        my $exit\_code = 10;
        eval {
            print "Enabling the VIP - $vip on the new master - $new\_master\_host \n";
            &start_vip();
            $exit\_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit\_code;
        }
        exit $exit\_code;
    }
    elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        exit 0;
    }
    else {
        &usage();
        exit 1;
    }
}

sub start_vip() {
    `ssh $ssh\_user\@$new\_master\_host \" $ssh\_start\_vip \"`;
}
sub stop_vip() {
     return 0  unless  ($ssh\_user);
    `ssh $ssh\_user\@$orig\_master\_host \" $ssh\_stop\_vip \"`;
}

sub usage {
    print
    "Usage: master\_ip\_failover --command=start|stop|stopssh|status --orig\_master\_host=host --orig\_master\_ip=ip --orig\_master\_port=port --new\_master\_host=host --new\_master\_ip=ip --new\_master\_port=port\n";
}

[root@server4 masterha]# vim master\_ip\_online\_change
#!/usr/bin/env perl
use strict;
use warnings FATAL =>'all';

use Getopt::Long;

my $vip = '172.25.1.100/24';  # Virtual IP 
my $ssh\_start\_vip = "/sbin/ip addr add $vip dev eth0";
my $ssh\_stop\_vip = "/sbin/ip addr del $vip dev eth0";
my $exit\_code = 0;

my (
  $command,              $orig\_master\_is\_new\_slave, $orig\_master\_host,
  $orig\_master\_ip,       $orig\_master\_port,         $orig\_master\_user,
  $orig\_master\_password, $orig\_master\_ssh\_user,     $new\_master\_host,
  $new\_master\_ip,        $new\_master\_port,          $new\_master\_user,
  $new\_master\_password,  $new\_master\_ssh\_user,
);
GetOptions(
  'command=s'                => \$command,
  'orig\_master\_is\_new\_slave' => \$orig\_master\_is\_new\_slave,
  'orig\_master\_host=s'       => \$orig\_master\_host,
  'orig\_master\_ip=s'         => \$orig\_master\_ip,
  'orig\_master\_port=i'       => \$orig\_master\_port,
  'orig\_master\_user=s'       => \$orig\_master\_user,
  'orig\_master\_password=s'   => \$orig\_master\_password,
  'orig\_master\_ssh\_user=s'   => \$orig\_master\_ssh\_user,
  'new\_master\_host=s'        => \$new\_master\_host,
  'new\_master\_ip=s'          => \$new\_master\_ip,
  'new\_master\_port=i'        => \$new\_master\_port,
  'new\_master\_user=s'        => \$new\_master\_user,
  'new\_master\_password=s'    => \$new\_master\_password,
  'new\_master\_ssh\_user=s'    => \$new\_master\_ssh\_user,
);


exit &main();

sub main {

#print "\n\nIN SCRIPT TEST====$ssh\_stop\_vip==$ssh\_start\_vip===\n\n"; 

if ( $command eq "stop" || $command eq "stopssh" ) {
if ( $command eq "stop" || $command eq "stopssh" ) {

        # $orig\_master\_host, $orig\_master\_ip, $orig\_master\_port are passed. 
        # If you manage master ip address at global catalog database, 
        # invalidate orig\_master\_ip here. 
        my $exit\_code = 1;
        eval {
            print "\n\n\n\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\n";
            print "Disabling the VIP - $vip on old master: $orig\_master\_host\n"; 
            print "\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\n\n\n\n";
&stop_vip();
            $exit\_code = 0;
        };
        if ($@) {
            warn "Got Error: $@\n";
            exit $exit\_code;
        }
        }
        exit $exit\_code;
}
elsif ( $command eq "start" ) {

        # all arguments are passed. 
        # If you manage master ip address at global catalog database, 
        # activate new\_master\_ip here. 
        # You can also grant write access (create user, set read\_only=0, etc) here. 
my $exit\_code = 10;
        eval {
            print "\n\n\n\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\n";
            print "Enabling the VIP - $vip on new master: $new\_master\_host \n";  
            print "\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\n\n\n\n";
&start_vip();
            $exit\_code = 0;
        };
        if ($@) {
            warn $@;
            exit $exit\_code;
        }
        exit $exit\_code;
}
elsif ( $command eq "status" ) {
        print "Checking the Status of the script.. OK \n";
        `ssh $orig\_master\_ssh\_user\@$orig\_master\_host \" $ssh\_start\_vip \"`;
        exit 0;
}
else {
&usage();
        exit 1;
}
}

# A simple system call that enable the VIP on the new master 
sub start_vip() {
`ssh $new\_master\_ssh\_user\@$new\_master\_host \" $ssh\_start\_vip \"`;
}
# A simple system call that disable the VIP on the old\_master 
sub stop_vip() {
`ssh $orig\_master\_ssh\_user\@$orig\_master\_host \" $ssh\_stop\_vip \"`;
}

sub usage {
print
"Usage: master\_ip\_failover --command=start|stop|stopssh|status --orig\_master\_host=host --orig\_master\_ip=ip --orig\_master\_port=port --new\_master\_host=host --new\_master\_ip=ip --new\_master\_port=port\n";
}

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Linux运维工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Linux运维知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加VX:vip1024b (备注Linux运维获取)
img

,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!**

因此收集整理了一份《2024年Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
[外链图片转存中…(img-7pbFyXkH-1712690861311)]
[外链图片转存中…(img-lWLp90o1-1712690861311)]
[外链图片转存中…(img-foqg3sQt-1712690861311)]
[外链图片转存中…(img-pvE6L3GM-1712690861312)]
[外链图片转存中…(img-grcNAhhn-1712690861312)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Linux运维知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加VX:vip1024b (备注Linux运维获取)
[外链图片转存中…(img-OFLDsIxX-1712690861312)]

  • 30
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值