Mysql中间件代理 Atlas

最新推荐文章于 2024-07-05 18:06:04 发布
最新推荐文章于 2024-07-05 18:06:04 发布
阅读量609 收藏 1
点赞数
分类专栏： MHA

本文接上文介绍atlas的安装配置，以及借助keepalive软件实现altas的ha，避免由于atlas故障，导致数据库服务中断的情况出现：

 

一：环境介绍

Atlas 主：192.168.1.12/24

Atlas 从：192.168.1.81/24

Atlas vip:  192.168.1.230/24

 

Atlas write:

master：192.168.1.225/24

Slave1：192.168.1.226/24

Slave2：192.168.1.227/24

管理节点：192.168.1.12/24

Mha vip:  192.168.1.231/24

 

Atlas  read:

Slave2：192.168.1.227/24

Slave3：192.168.1.228/24 

 

二：安装atlas，12服务器及81服务器执行同样的操作

1
2
3
4
5
6
7
# yum -y install openssl openssl-devel
# wget https://github.com/Qihoo360/Atlas/releases/download/2.1/Atlas-2.1.el6.x86_64.rpm
# rpm -ivh Atlas-2.1.el6.x86_64.rpm
# cd /usr/local/mysql-proxy/conf/
  
# /usr/local/mysql-proxy/bin/encrypt 123456
/iZxz+0GRoA=

# grep -v '^#' /usr/local/mysql-proxy/conf/test.cnf  |grep -v '^$'

1
2
3
4
5
6
7
8
9
10
11
12
13
[mysql-proxy]
admin-username = admin
admin-password = admin
proxy-backend-addresses = 192.168.1.231:3306
proxy-read-only-backend-addresses = 192.168.1.227:3306,192.168.1.228:3306
pwds = root:/iZxz+0GRoA= 
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
proxy-address = 0.0.0.0:1234
admin-address = 0.0.0.0:2345

# /usr/local/mysql-proxy/bin/mysql-proxyd test start

OK: MySQL-Proxy of test is started

# netstat -ntpl |grep mysql-proxy

tcp        0      0 0.0.0.0:2345                0.0.0.0:*                   LISTEN      29643/mysql-proxy   

tcp        0      0 0.0.0.0:1234                0.0.0.0:*                   LISTEN      29643/mysql-proxy   

# tail -f /usr/local/mysql-proxy/log/test.log 

1
2
3
4
5
6
2014-10-29 11:12:11: (message) mysql-proxy 0.8.2 started - instance: test
2014-10-29 11:12:11: (message) proxy listening on port 0.0.0.0:1234
2014-10-29 11:12:11: (message) added read/write backend: 192.168.1.231:3306
2014-10-29 11:12:11: (message) added read-only backend: 192.168.1.227:3306
2014-10-29 11:12:11: (message) chassis-unix-daemon.c:138: [angel] we try to keep PID=29643 alive2014-10-29 11:12:11: (message) added read-only backend: 192.168.1.228:3306
2014-10-29 11:12:11: (message) chassis-event-thread.c:235: starting 8 threads

# /usr/local/mysql/bin/mysql -h 192.168.1.12 -P 1234 -u root -p123456

wKioL1RQnraRQElvAAVhsfdIFeE913.jpg

# /usr/local/mysql/bin/mysql -h 192.168.1.12 -P 2345 -uadmin -padmin

wKiom1RQnn3DMFxSAAZhA29duaA866.jpg

三：安装keepalived

此处以12服务器为例，81服务器执行同样的操作

1
2
3
4
5
# cd /usr/local/src/
# wget http://www.keepalived.org/software/keepalived-1.2.13.tar.gz
# tar -zxvpf keepalived-1.2.13.tar.gz 
# cd keepalived-1.2.13
# ./configure --prefix=/usr/local/keepalived  && make && make install

四：配置12服务器keepalive

1：keepalive主配置文件

# cat /usr/local/keepalived/etc/keepalived/keepalived.conf 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
! Configuration File for keepalived
global_defs {
  router_id  LVS_DEVEL
}
vrrp_script Monitor_Atlas {
  script "/usr/local/scripts/monitor_atlas.sh"
  interval 2 
  weight 2  
}
vrrp_instance VI_1{ 
  state MASTER 
  interface eth0
  virtual_router_id 51 
  mcast_src_ip 192.168.1.12
  priority 100  
  advert_int 1
  authentication {
  auth_type PASS
  auth_pass password_123
}
  track_script {
  Monitor_Atlas
}
  virtual_ipaddress {
  192.168.1.230
  }
}

2：监控atlas脚本

# cat /usr/local/scripts/monitor_atlas.sh

1
2
3
4
5
6
7
8
9
#!/bin/bash
if  [ $(ps -ef |grep 'mysql-proxy' |grep -v 'grep' |wc -l) -eq "0" ];then
     /usr/local/mysql-proxy/bin/mysql-proxyd test start
     sleep 5
     if [ $(ps -ef |grep 'mysql-proxy' |grep -v 'grep' |wc -l) -eq "0"  ];then
         killall -9 keepalived
         service network restart
     fi
fi

# chmod +x /usr/local/scripts/monitor_atlas.sh


五：配置81服务器keepalive

1：keepalive主配置文件

# cat /usr/local/keepalived/etc/keepalived/keepalived.conf 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
! Configuration File for keepalived
global_defs {
  router_id  LVS_DEVEL
}
vrrp_script Monitor_Atlas {
  script "/usr/local/scripts/monitor_atlas.sh"
  interval 2 
  weight 2  
}
vrrp_instance VI_1{ 
  state BACKUP
  interface eth0
  virtual_router_id 51 
  mcast_src_ip 192.168.1.81
  priority 90  
  advert_int 1
  authentication {
  auth_type PASS
  auth_pass password_123
}
  track_script {
  Monitor_Atlas
}
  virtual_ipaddress {
  192.168.1.230
  }
}

2：监控atlas脚本

# cat /usr/local/scripts/monitor_atlas.sh

1
2
3
4
5
6
7
8
9
#!/bin/bash
if  [ $(ps -ef |grep 'mysql-proxy' |grep -v 'grep' |wc -l) -eq "0" ];then
     /usr/local/mysql-proxy/bin/mysql-proxyd test start
     sleep 5
     if [ $(ps -ef |grep 'mysql-proxy' |grep -v 'grep' |wc -l) -eq "0"  ];then
         killall -9 keepalived
         service network restart
     fi
fi

# chmod +x /usr/local/scripts/monitor_atlas.sh


六：启动keepalive服务及测试

1:12服务器

# /usr/local/keepalived/sbin/keepalived -D -f /usr/local/keepalived/etc/keepalived/keepalived.conf 

# tail -f /var/log/messages

wKiom1RQnzTDRG2aAAo4YBIJ5v0036.jpg

wKioL1RQn5WQTUJxAAWMEqUK7C0455.jpg

2: 81服务器

# /usr/local/keepalived/sbin/keepalived -D -f /usr/local/keepalived/etc/keepalived/keepalived.conf 

# tail -f /var/log/messages

wKioL1RQn7CBa77yAAvAmEp_8JM346.jpg

3：连接atlas测试

# /usr/local/mysql/bin/mysql -h 192.168.1.230 -P 1234 -uroot -p123456

mysql> select user,host,password from mysql.user;

wKioL1RQn83jpdR-AAnzAXLp0Hs421.jpg

# /usr/local/mysql/bin/mysql -h 192.168.1.230 -P 2345 -uadmin -padmin

mysql>  SELECT * FROM backends;

wKiom1RQn47T6dMTAAZN75tM-YU288.jpg

4：故障测试

12服务器上关闭keepalive服务

wKiom1RQn7KxMkbVAAD6QyPbNY4942.jpg

81服务器的keepalive会自动接管vip服务

# tail -f /var/log/messages

wKiom1RQn8igfc58AATHfv8ywW8481.jpg

persist-win
关注
专栏目录
MySQL中间件之ProxySQL(3)：初试读写分离
easydb.net
10-14 268
实现一个简单的读写分离 这里通过一个简单的示例实现ProxySQL的读写分离功能，算是ProxySQL的快速入门。即使是快速入门，需要配置的内容也很多，包括：后端MySQL配置、监控配置、发送SQL语句的用户、SQL语句的路由规则。所以，想要实现一个ProxySQL+MySQL，即使只实现最基本的功能，步骤也是挺多的，不过配置的逻辑都很简单。 实验环境： OS：centos7.8 ProxySQL：2.0.14 MySQL：8.0.20 角色 主机IP 端口 server_id ProxyS
mysql代理中间件_MySQL-ProxySQL中间件（二）
weixin_30878051的博客
01-18 277
彩蛋监控MGR，需要在MySQL实例中配置一些监控脚本(MySQL 5.7 和 MySQL 8.0略有不同)该脚本需要配置到sys库下，因笔记web显示问题，无法显示折行，但是不影响复制，可以自行复制粘贴出来即可。select * from sys.gr_member_routing_candidate_status;+------------------+-----------+--------...
jsp加载mysql配置文件_MySQL-ProxySQL中间件
weixin_39729262的博客
12-09 171
ProxySQLProxySQL作为一款强大的中间件为MySQL的架构提供了有力的支持。目前可以很好的支持 Master Slave MGR PXC等，并提供连接池、读写分离、日志记录等功能，当然还有很多其他实用功能，这里不一一列举了。本文都是基础概念，基本出自官方文档，官方已经解释的非常清晰，我就不太多加工，汇总一些实用的分享给大家。安装ProxySQL安装非常简单连接ProxySQLProx...
Mysql中间件和高可用
最新发布
xiaogengtongxu的博客
07-05 903
2.#逻辑库名(如上面的TESTDB，也就是登录mycat后显示的库名，切换这个库之后，显示的就是代理的真实mysql数据库的表)要在schema.xml里面也定义，否则会导致mycat服务启动失败！这里只定义了一个标签，所以把多余的都注释了。schema.xml是最主要的配置项，此文件关联mysql读写分离策略，读写分离、分库分表策略、分片节点都是在此文件中配置的.MyCat作为中间件，它只是一个代理，本身并不进行数据存储，需要连接后端的MySQL物理服务器，此文件就是用来连接MySQL服务器的。
(强大的)mysql代理中间件proxysql
qq_35916684的博客
02-28 3204
mysql代理中间件的需求 业务中需要做到: 读写分离 主从配置 主从选举 分表分库 缓存 那么就开始选型了 多家mysql代理的性能比较 ProxySQL之性能测试对比 MySQL ProxySQL读写分离使用初探 个人总结 目前的mysql代理有很多家，上面的文章也对比了多家，proxysql算是综合性能比较好的一个，而且许多工具已经停止更新。目前看来proxysql还在维护，也受到p...
mysql中间件
weixin_30451709的博客
01-08 125
一.分类为：负载均衡类和数据切分类 1.负载均衡中间件提供了请求的转发，降低了单节点的负载，如haproxy，mysql-proxy,mysql-router 2.数据切分中间件按照不同的路由算法分发sql语句就形成了数据切分，如mycat，atlas，oneproxy，proxysql 1.mycat A.开源免费 <1>.基于阿里巴巴的corba中间件，部...
linux运维学习笔记：Mysql中间件Atlas读写分离原理与实战.pdf
08-18
Linux运维学习笔记：Mysql中间件Atlas读写分离原理与实战知识点总结： 1. Atlas项目简介 Atlas是由奇虎360公司Web平台部基础架构团队开发的一个基于MySQL协议的数据中间层项目。它是基于MySQL官方推出的MySQL-Proxy...
mysql中间件研究(Atlas、cobar、TDDL、Mycat).doc
11-10
【MySQL中间件详解：Atlas、cobar、TDDL与Mycat】 MySQL中间件是用于在应用程序和数据库之间提供服务的软件，它们通常用于解决数据库的扩展性、高可用性和读写分离等问题。本文将详细介绍四款知名的MySQL中间件：...
mysql中间件研究(Atlas_cobar_TDDL)
07-18
mysql 中间件研究（Atlas、Cobar、TDDL） mysql 中间件研究是当前数据库系统中一个非常重要的课题，mysql-proxy 是官方提供的 mysql 中间件产品，可以实现负载平衡、读写分离、failover 等，但是它不支持大数据量的...
高性能MySQL中间件Atlas.pdf
10-10
高性能MySQL中间件Atlas.pdf 该文档详细介绍了高性能MySQL中间件Atlas的设计和实现，主要涵盖了 Atlas 的架构设计、性能优化策略和实现细节。 知识点一：Atlas 的架构设计 Atlas 的架构设计主要包括三个部分：...
基于MySQL的数据库中间件Meituan-DBProxy.zip
07-19
奇虎360公司开源的Atlas是优秀的数据库中间件，美团点评DBA团队针对公司内部需求，在其上做了很多改进工作，形成了新的高可靠、高可用企业级数据库中间件DBProxy，已在公司内部生产环境广泛使用，较为成熟、稳定。 DBProxy的优点 支持多语言MySQL客户端 读写分离 负载均衡 Slave故障感知与摘除（Master需要MHA等其他联动） 后端连接池 自定义SQL拦截与过滤 流量分组与控制 丰富的监控状态 支持分表（分库版本正在内测中） Client IP限制 DBProxy对Atlas的改进 新增功能点 新增参数 backend-max-thread-running用于指定每个MySQL后台的最大thread running数 thread-running-sleep-delay用于指定在thread running数超过backend-max-thread-running时，客户端连接等待的时间 添加到黑名单中需要满足两个条件：SQL执行的时间和频率 提供了查看、修改、添加、删除黑名单的功能 黑名单管理提供了将黑名单保存到文件以及从文件中Load到内存中的功能 在手动添加黑名单时，只需要将用户的SQL语句输入，在内部自动转化成过滤条件，手动添加时是否生效由参数 manual-filter-flag 来控制，OFF:不生效，ON:立即生效 手动添加与自动添加两种情况下的过滤条件是否生效是分别由不同参数控制，这个要区分清楚。另外，也可以使用 admin 的命令来设置是否开启/关闭某个过滤条件 SQL执行的时间 由参数 query-filter-time-threshold 来指定，如果SQL执行时间超过此值，则满足条件 SQL执行频率 由参数 query-filter-frequent-threshold 来指定，如果SQL执行频率超过此值，则满足条件 频率就是在时间窗口内执行的次数。时间窗口则是由频率阈值和最小执行次数来计算出来的，当时间窗口小于60s时，扩展到60s 参数 access-num-per-time-window 用来指定在时间窗口内的最小执行次数，添加此参数是考虑到执行时间长的SQL在计算频率时同时参考其执行的次数，只有执行一定次数时才去计算其频率。当执行时间与执行频率都满足时条件时，会自动将查询作为过滤项放到黑名单中，加入到黑名单中是否生效由参数 auto-filter-flag 来控制，OFF:不生效，ON:立即生效 黑名单的管理 从库流量配置 指定查询发送到某个从库 参数动态设置(完善show proxy status/variables) 支持save config，动态增加、删除分表 响应时间percentile统计 统计最近时间段DBProxy的响应时间 kill session 支持DBProxy的admin接口kill session操作 backend平滑上下线 支持平滑的backend上下线 DBProxy非root用户启动 使用非root用户启动 admin账号的安全限制 admin账号密码的动态修改及host限制 增加异步刷日志的功能 增加日志线程、异步刷日志，提高响应时间 支持DBProxy平滑重启功能 支持SQL过滤的黑名单功能 支持对于MySQL后台的thread running限制功能 该功能通过在DBProxy内限制每个后台MySQL的并发查询，来控制对应MySQL的thread running数 当发向某个MySQL后台的的并发查询超过某个阈值时，会进行超时等待，直到有可用的连接，其中阈值与超时等待的时间都已经参数化，可以动态配置 set backend offline不再显示节点状态 支持set transaction isolation level 支持use db 支持set option语句 支持set session级系统变量 支持建立连接时指定连接属性 改进连接池的连接管理，增加超时释放机制。当连接池中的空闲连接闲置超过一定时
mysql代理中间件_MySQL中间件之ProxySQL安装部署篇
weixin_36155267的博客
01-20 421
1.前言最近和搞中间件的同事聊了聊，他感叹了几句，如今最大的难处在于中间件太多了，不知道用哪个。社区有几款不错的中间件，mycat算是影响力比较大的吧(以前听一位哥们儿说他认为mycat是java写的，效率很低，然后就对mycat狂轰滥炸)，oneproxy是我们楼教主的扛鼎巨著，还有mariadb社区那个延迟开源的收费软件maxscale。好咯，今天我们不讲这些高大上的中间件，今天我们说的这个中...
代理后台中间件_MySql DAL中间件
weixin_28677005的博客
01-13 315
前言：mysql作为互联网公司都会用到的数据库，如果在使用过程中出现性能问题，会采用mysql的横向扩展，使用主从复制来提高读性能，要是解决写入问题，需要进行分库分表。本文不会去介绍mysql的高可用，主要介绍mysql的访问中间件(DAL)的一些实现方案。DAL中间件：1 >>> Atlas2 >>> Mysql router3 >>> My...
mysql 中间件atlas_Mysql代理中间件Atlas安装和配置
weixin_32612347的博客
01-27 160
前提得配置好主从参考：http://www.cnblogs.com/super-d2/p/4802990.html首先，先去下载Altas的rpm包，下载地址：https://github.com/Qihoo360/Atlas/releases要看清楚版本，centos 5.x：Atlas-1.0.3.el5.x86_64.rpm centos 6.x：我的系统是centos 6.4 ，所以...
中间件使用代理
weixin_44722998的博客
02-22 182
中间件使用代理 import requests from fake_useragent import UserAgent from scrapy import signals from demo6 import settings class Demo6SpiderMiddleware(object): def process_request(self, request, spider): # ua = UserAgent().chrome # request.hea
Mysql代理中间件-Atlas实现读写分离
起风了
10-18 668
概述 MySQL Proxy最强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询，而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。 当然，主服务器也可以提供查询服务。使用读写分离最大的作用无非是环境服务器压力。 架构图如下： 1、介绍 Atlas 是由 Qihoo 360公司W...
数据库中间件：Mysql-proxy
大连赵哥的博客
01-16 804
数据库中间件：Mysql-proxy
mysql proxy中间件_mysql-proxy中间件使用 - 优雅的c
weixin_32304077的博客
02-10 152
下载安装mysql_proxy:解压后 ,该目录包含已经编译好的二进制文件 .可以通过mysql-proxy --help查看帮助1: 利用mysql_proxy 实现负载均衡执行mysql_proxy./mysql-proxy-path/bin/mysql-proxy \--proxy-backend-addresses=192.168.1.199:3306 \--pro...
360的MySQL读写分离中间件Atlas：数据库解决方案
"MySQL数据库读写分离中间件Atlas是由奇虎360开发的一款基于MySQL协议的数据库中间件，旨在解决业务程序员与DBA在数据库管理中的痛点，提供读写分离、分库分表等功能。它源于MySQL-Proxy0.8.2并进行了大量改进，已在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值