OneProxy使用手册

最新推荐文章于 2021-02-02 19:18:21 发布

weixin_34321977

最新推荐文章于 2021-02-02 19:18:21 发布

阅读量159

点赞数

文章标签：数据库后端

原文链接：http://blog.51cto.com/51kxj/1671379

版权

介绍

OneProxy是由原支付宝首席架构师楼方鑫开发，目前由楼方鑫创立的杭州平民软件公司（@平民架构）提供技术支持。它保留了 MySQL-Proxy 0.8.4官方版本上其协议处理和软件框架，然后对软件做了大量优化，极大增强了系统的并发能力。目前已有多家公司在生成环境中使用，其中包括了支付、电商等行业。

OneProxy的主要功能有：

1. 垂直分库

2. 水平分表

3. Proxy集群【暂无文档】

4. 读高可用

5. 读写分离（master不参与读）

6. 读写分离（master参与读）

7. 写高可用

8. 读写随机

9. SQL检查

10. SQL统计【暂无文档】

11. 任务队列监控【暂无文档】

12. 连接池管理【暂无文档】

最新博文在http://www.cnblogs.com/youge-OneSQL/articles/4208583.html

重要概念

Server Group

在OneProxy中，一组主从复制的MySQL集群被称为Server Group。如图. A所示，有Server Group A和Server Group B。

图. A

在OneProxy中，垂直分库和水平分表的实现思路都是建立在Server Group的概念上。为了更好地说明，我们假设以下场景。

A）Server Group A中有三张表table X, table Y, table Z，其中应用对table X操作非常频繁，占用大量I/O带宽，严重影响了应用对tableY, tableZ的操作效率。

图. B

解决方案1.0：把table X移到另一组数据库，即Server Group B中（如图C所示），然后通过修改OneProxy的配置来改变table X的路由规则，无须改动应用。

图. C

B）在使用了解决方案1.0后，系统的I/O压力得到缓解。由于后期业务越来越多，Server Group B的写入压力越来越大，响应时间变慢。

解决方案2.0 : 把Server Group B中的table X水平拆分，将X_00, X_01留在Server Group B中，把X_02，X_03留在Server Group C中，如图D所示

图. D

支持的平台

Redhat5.x_X64，Redhat6.x_X64

安装步骤

1）从http://pan.baidu.com/s/1mgJpukg#path=%252FOneSQL%252FOneProxy处下载最新版OneProxy

本文档写作时，最新版本为oneproxy-rhel5-linux64-v5-ga.tar.gz

2）cd /usr/local/

3）tar zxvf oneproxy-rhel5-linux64-v5-ga.tar.gz

4）cd oneproxy/

5）修改demo.sh

###############################

#/bin/bash

if [ -e “/usr/local/oneproxy/log/oneproxy.pid” ]
then
kill -INT $(cat /usr/local/oneproxy/log/oneproxy.pid)
fi

sleep 2
ulimit -c 10000
export LD_LIBRARY_PATH=/usr/local/oneproxy/lib
/usr/local/oneproxy/bin/mysql-proxy \
–proxy-address=:3307 \
–proxy-master-addresses=10.128.128.238:3306 \
–proxy-user-list=test/A94A8FE5CCB19BA61C4C0873D391E987982FBBD3@test \
–proxy-group-policy=default:4 \
–event-threads=8 \
–log-file=/usr/local/oneproxy/log/oneproxy.log \
–pid-file=/usr/local/oneproxy/log/oneproxy.pid

#####################################

注：

proxy-address proxy绑定的IP和端口

proxy-master-addresses 后端可写DB

proxy-user-list 分别为数据库用户名，加密后的数据库密码（用bin/mysqlhash加密），连接的数据库

proxy-group-policy Server Group组与策略，默认的组为default，策略值为4，见后面描述

6）./demo.sh

7）检查是否成功启动。

ps aux | grep mysql-proxy | grep -v grep

如有输出，则启动成功。

若无输出，请检查运行日志/usr/local/oneproxy/log/oneproxy.log

8）通过mysql client连接OneProxy

mysql -u test -h 127.0.0.1 -P3307 -p

应用场景与配置范例

下面给出在以下几种场景下，如何正确的配置OneProxy

1. 垂直分库

以图. E为例，

图. E

OneProxy的启动脚本如下：

###############################

#/bin/bash

if [ -e “/usr/local/oneproxy/log/oneproxy.pid” ]
then
kill -INT $(cat /usr/local/oneproxy/log/oneproxy.pid)
fi

sleep 2
ulimit -c 10000
export LD_LIBRARY_PATH=/usr/local/oneproxy/lib
/usr/local/oneproxy/bin/mysql-proxy \
–proxy-address=:3307 \
–proxy-master-addresses=10.0.0.10:3306@A \

–proxy-master-addresses=10.0.0.12:3306@B \

–proxy-slave-addresses=10.0.0.11:3306@A \

–proxy-slave-addresses=10.0.0.13:3306@B \

–proxy-user-list=test/A94A8FE5CCB19BA61C4C0873D391E987982FBBD3 \

–proxy-database=test \
–proxy-group-policy=A:4 \

–proxy-group-policy=B:4 \

–proxy-table-map=X:B

–proxy-table-map=Y:A

–proxy-table-map=Z:A
–event-threads=16 \
–log-file=/usr/local/oneproxy/log/oneproxy.log \
–pid-file=/usr/local/oneproxy/log/oneproxy.pid

#####################################

注：具体参数含义参考附录

2. 水平分表

以图. F为例

图. F

OneProxy的启动脚本如下：

###############################

#/bin/bash

if [ -e “/usr/local/oneproxy/log/oneproxy.pid” ]
then
kill -INT $(cat /usr/local/oneproxy/log/oneproxy.pid)
fi

sleep 2
ulimit -c 10000
export LD_LIBRARY_PATH=/usr/local/oneproxy/lib
/usr/local/oneproxy/bin/mysql-proxy \
–proxy-address=:3307 \
–proxy-master-addresses=10.0.0.10:3306@A \

–proxy-master-addresses=10.0.0.12:3306@B \

–proxy-master-addresses=10.0.0.14:3306@C \

–proxy-slave-addresses=10.0.0.11:3306@A \

–proxy-slave-addresses=10.0.0.13:3306@B \

–proxy-slave-addresses=10.0.0.15:3306@C \

–proxy-user-list=test/A94A8FE5CCB19BA61C4C0873D391E987982FBBD3 \

–proxy-database=test \
–proxy-group-policy=A:4 \

–proxy-group-policy=B:4 \

–proxy-group-policy=C:4 \

–proxy-table-map=X_00:B

–proxy-table-map=X_01:B

–proxy-table-map=X_02:C

–proxy-table-map=X_03:C

–proxy-table-map=Y:A

–proxy-table-map=Z:A
–event-threads=16 \
–log-file=/usr/local/oneproxy/log/oneproxy.log \
–pid-file=/usr/local/oneproxy/log/oneproxy.pid

#####################################

注：具体参数含义参考附录

3. Proxy集群

4. 读高可用

该方案是为了解决重要配置库的单点问题。在master不可用时，OneProxy会自动读取slave。

OneProxy的启动脚本如下：

###############################

#/bin/bash

if [ -e “/usr/local/oneproxy/log/oneproxy.pid” ]
then
kill -INT $(cat /usr/local/oneproxy/log/oneproxy.pid)
fi

sleep 2
ulimit -c 10000
export LD_LIBRARY_PATH=/usr/local/oneproxy/lib
/usr/local/oneproxy/bin/mysql-proxy \
–proxy-address=:3307 \

–proxy-master-addresses=10.0.0.10:3306@A \

–proxy-slave-addresses=10.0.0.11:3306@A \

–proxy-user-list=test/A94A8FE5CCB19BA61C4C0873D391E987982FBBD3 \

–proxy-database=test \
–proxy-group-policy=A:1 \

–event-threads=8 \
–log-file=/usr/local/oneproxy/log/oneproxy.log \
–pid-file=/usr/local/oneproxy/log/oneproxy.pid

#####################################

注：10.0.0.10为只读主库，10.0.0.11为只读丛库

5. 读写分离（master不参与读）

读写分离能有效的解决应用读负载较重且能忍受一定延迟的场景。此种模式下，读负载只能由slave承担，写与事务负载只能由master承担。

OneProxy的启动脚本如下：

###############################

#/bin/bash

if [ -e “/usr/local/oneproxy/log/oneproxy.pid” ]
then
kill -INT $(cat /usr/local/oneproxy/log/oneproxy.pid)
fi

sleep 2
ulimit -c 10000
export LD_LIBRARY_PATH=/usr/local/oneproxy/lib
/usr/local/oneproxy/bin/mysql-proxy \
–proxy-address=:3307 \

–proxy-master-addresses=10.0.0.10:3306@A \

–proxy-slave-addresses=10.0.0.11:3306@A \

–proxy-user-list=test/A94A8FE5CCB19BA61C4C0873D391E987982FBBD3 \

–proxy-database=test \
–proxy-group-policy=A:2 \

–event-threads=8 \
–log-file=/usr/local/oneproxy/log/oneproxy.log \
–pid-file=/usr/local/oneproxy/log/oneproxy.pid

#####################################

注：10.0.0.10为主库，10.0.0.11为丛库

6. 读写分离（master参与读）

这是另一种读写分离模式，所有类型的负载（读、写、事务）都有可能由master承担。

OneProxy的启动脚本如下：

###############################

#/bin/bash

if [ -e “/usr/local/oneproxy/log/oneproxy.pid” ]
then
kill -INT $(cat /usr/local/oneproxy/log/oneproxy.pid)
fi

sleep 2
ulimit -c 10000
export LD_LIBRARY_PATH=/usr/local/oneproxy/lib
/usr/local/oneproxy/bin/mysql-proxy \
–proxy-address=:3307 \

–proxy-master-addresses=10.0.0.10:3306@A \

–proxy-slave-addresses=10.0.0.11:3306@A \

–proxy-user-list=test/A94A8FE5CCB19BA61C4C0873D391E987982FBBD3 \

–proxy-database=test \
–proxy-group-policy=A:4 \

–event-threads=8 \
–log-file=/usr/local/oneproxy/log/oneproxy.log \
–pid-file=/usr/local/oneproxy/log/oneproxy.pid

#####################################

注：10.0.0.10为主库，10.0.0.11为丛库

7. 写高可用

这是专门针对XtraDB Cluster集群设计的一种模式。这种模式，只允许将一个节点作为写，而所有节点平均的承担所有的读负载。如图G所示。

图. G

以图. G为例，若Node 1节点不可用，则任意选择另一台机器作为新的节点。如下图所示。

图. H

OneProxy在切换时，没有考虑数据的一致性，需要XtraDB Cluster本身来保证。其它类型的集群慎用。

OneProxy的启动脚本如下：

###############################

#/bin/bash

if [ -e “/usr/local/oneproxy/log/oneproxy.pid” ]
then
kill -INT $(cat /usr/local/oneproxy/log/oneproxy.pid)
fi

sleep 2
ulimit -c 10000
export LD_LIBRARY_PATH=/usr/local/oneproxy/lib
/usr/local/oneproxy/bin/mysql-proxy \
–proxy-address=:3307 \

–proxy-master-addresses=10.0.0.10:3306@A \

–proxy-master-addresses=10.0.0.11:3306@A \

–proxy-master-addresses=10.0.0.12:3306@A \

–proxy-user-list=test/A94A8FE5CCB19BA61C4C0873D391E987982FBBD3 \

–proxy-database=test \
–proxy-group-policy=A:3 \

–event-threads=8 \
–log-file=/usr/local/oneproxy/log/oneproxy.log \
–pid-file=/usr/local/oneproxy/log/oneproxy.pid

#####################################

注：目前写入节点是由OneProxy自动选择的，无法手动指定。

8. 读写随机

这是专门针对XtraDB Cluster集群设计的一种模式。这种模式，所有的节点都平均的承担读写负载。

OneProxy的启动脚本如下：

###############################

#/bin/bash

if [ -e “/usr/local/oneproxy/log/oneproxy.pid” ]
then
kill -INT $(cat /usr/local/oneproxy/log/oneproxy.pid)
fi

sleep 2
ulimit -c 10000
export LD_LIBRARY_PATH=/usr/local/oneproxy/lib
/usr/local/oneproxy/bin/mysql-proxy \
–proxy-address=:3307 \

–proxy-master-addresses=10.0.0.10:3306@A \

–proxy-master-addresses=10.0.0.11:3306@A \

–proxy-master-addresses=10.0.0.12:3306@A \

–proxy-user-list=test/A94A8FE5CCB19BA61C4C0873D391E987982FBBD3 \

–proxy-database=test \
–proxy-group-policy=A:5 \

–event-threads=8 \
–log-file=/usr/local/oneproxy/log/oneproxy.log \
–pid-file=/usr/local/oneproxy/log/oneproxy.pid

#####################################

9. SQL检查

OneProxy拥有部分的SQL检查功能。当前版本可以检查SQL语句在操作某个表时，是否带了某个列。

比如有一张大表X，其定义如下

mysql> show create table X\G

*************************** 1. row ***************************
Table: X
Create Table: CREATE TABLE X (
id int(11) NOT NULL AUTO_INCREMENT,
name varchar(20) NOT NULL DEFAULT ”,
value varchar(100) NOT NULL DEFAULT ”,
PRIMARY KEY id,
KEY idx_name name
) ENGINE=InnoDB DEFAULT CHARSET=latin1
1 row in set (0.00 sec)

如果在操作时，SQL语句中没带id列或者name列，那么则不允许其操作。

只要在OneProxy启动脚本中加入如下配置即可，

–proxy-sql-review=X:id \

–proxy-sql-review=X:name \

文章原文http://blog.mysqldba.cn/archives/136

转载于:https://blog.51cto.com/51kxj/1671379

weixin_34321977

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
OneProxy使用手册

介绍OneProxy是由原支付宝首席架构师楼方鑫开发，目前由楼方鑫创立的杭州平民软件公司（@平民架构）提供技术支持。它保留了MySQL-Proxy 0.8.4官方版本上其协议处理和软件框架，然后对软件做了大量优化，极大增强了系统的并发能力。目前已有多家公司在生成环境中使用，其中包括了支付、电商等行业。 OneProxy的主要功能有：1. 垂直分库2. 水平...
复制链接

扫一扫