Mysql基于Amoeba_读写分离搭架

一、Amoeba简介

Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求，

Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。需要结合使用MySQL的 Replication等机制来实现副本同步等功能

二、Amoeba搭建过程

在搭建amoeba过程中，我们首先需要准备环境，这里我们提供了三台Linux服务器，分别是：

Amoeba for MySQL：centos-node5(主机名）

master：centos-node6

slave：centos-node7

Amoeba 服务器，master 主服务器，slave 从服务器，服务上分别都安装了，Jdk1.7以上版本，相关jdk安装参考

http://blog.csdn.net/liulihui1988/article/details/51985517;

并且已经安装了相关的主从数据库，相关安装参考：

http://blog.csdn.net/liulihui1988/article/details/79066755

• Linux 命令下载地址：

wget http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.x/amoeba-mysql-binary-2.1.0-RC5.tar.gz

• Amoeba 安装

命令创建amoeba文件夹，在/usr/local/amoeba目录下 执行下载以上地址

mkdir /usr/local/amoeba

执行以下命令解压在当前文件夹下

# tar xvf amoeba-mysql-binary-2.1.0-RC5.tar.gz 

• 验证Amoeba是否安装成功的命令在 /usr/local/amoeba/bin/ 目录下执行，

# ./amoeba

如上图，表示安装成功

• 修改配置文件 dbServer.xml

dbServer.xml 文件在 /usr/local/amoeba/conf/目录下 命令编辑

# vim dbServer.xml

需要修改的 代码部分

 <!-- 数据库连接配置的公共部分 -->
        <dbServer name="abstractServer" abstractive="true">
                <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
                        <property name="manager">${defaultManager}</property>
                        <property name="sendBufferSize">64</property>
                        <property name="receiveBufferSize">128</property>

                        <!-- mysql port 端口号 -->
                        <property name="port">3306</property>

                        <!-- mysql schema amoeba 访问主从数据库真实库-->
                        <property name="schema">test</property>

                        <!-- mysql user 主从数据库分配给Amoeba访问数据的用户名 -->
                        <property name="user">proxyuser</property>

                        <!--  mysql password 主从数据库分配给Amoeba访问数据的密码-->
                        <property name="password">123456</property>

                </factoryConfig>

                <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
                        <property name="maxActive">500</property>
                        <property name="maxIdle">500</property>
                        <property name="minIdle">10</property>
                        <property name="minEvictableIdleTimeMillis">600000</property>
                        <property name="timeBetweenEvictionRunsMillis">600000</property>
                        <property name="testOnBorrow">true</property>
                        <property name="testWhileIdle">true</property>
                </poolConfig>
        </dbServer>


        <!-- Master 的独立部分，也就只有 IP 了这里 写了主机名 -->
        <dbServer name="master"  parent="abstractServer">
                <factoryConfig>
                        <!-- mysql ip -->
                        <property name="ipAddress">centos-node6</property>
                </factoryConfig>
        </dbServer>
        <!-- Slave 的独立部分，也就只有 IP 了这里 写了主机名 ,如果有多个Slave服务器，可以配置多个dbServer -->
        <dbServer name="slave"  parent="abstractServer">
                <factoryConfig>
                        <!-- mysql ip -->
                        <property name="ipAddress">centos-node7</property>
                </factoryConfig>
        </dbServer>

        <!-- 数据库池，虚拟服务器，实现读取的负载均衡，如果有多个Slave，则<property name="poolNames">slave1,slave2</property>用逗号隔开 -->
        <dbServer name="slaves" virtual="true">
                <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
                        <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
                        <property name="loadbalance">1</property>

                        <!-- Separated by commas,such as: server1,server2,server1 -->
                        <property name="poolNames">slave</property>
                </poolConfig>
        </dbServer>

• 修改amoeba.xml文件，设置读写分离

 <proxy>

                <!-- service class must implements com.meidusa.amoeba.service.Service -->
                <service name="Amoeba for Mysql" class="com.meidusa.amoeba.net.ServerableConnectionManager">
                        <!-- Amoeba 端口号 ，客户端client 链接amoeba端口号，不能和主从数据库 冲突-->
                        <property name="port">8066</property>

                        <!-- bind ipAddress -->
                        <!--
                        <property name="ipAddress">127.0.0.1</property>
                         -->

                        <property name="manager">${clientConnectioneManager}</property>

                        <property name="connectionFactory">
                                <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
                                        <property name="sendBufferSize">128</property>
                                        <property name="receiveBufferSize">64</property>
                                </bean>
                        </property>

                        <property name="authenticator">
                                <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
                                        <!-- Amoeba 账号 ，客户端client 链接amoeba端 账号-->
                                        <property name="user">root</property>
 <!-- Amoeba 账号 ，客户端client 链接amoeba端 密码-->
                                        <property name="password">root</property>

                                        <property name="filter">
                                                <bean class="com.meidusa.amoeba.server.IPAccessController">
                                                        <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
                                                </bean>
                                        </property>
                                </bean>
                        </property>

                </service>

                <!-- server class must implements com.meidusa.amoeba.service.Service -->
                <service name="Amoeba Monitor Server" class="com.meidusa.amoeba.monitor.MonitorServer">
                        <!-- port -->
                        <!--  default value: random number
                        <property name="port">9066</property>
                        -->
                        <!-- bind ipAddress -->
                        <property name="ipAddress">127.0.0.1</property>
                        <property name="daemon">true</property>
                        <property name="manager">${clientConnectioneManager}</property>
                        <property name="connectionFactory">
                                <bean class="com.meidusa.amoeba.monitor.net.MonitorClientConnectionFactory"></bean>
                        </property>

                </service>

                <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
                        <!-- proxy server net IO Read thread size -->
                        <property name="readThreadPoolSize">20</property>

                        <!-- proxy server client process thread size -->
                        <property name="clientSideThreadPoolSize">30</property>

                        <!-- mysql server data packet process thread size -->
                        <property name="serverSideThreadPoolSize">30</property>

                        <!-- per connection cache prepared statement size  -->
                        <property name="statementCacheSize">500</property>

                        <!-- query timeout( default: 60 second , TimeUnit:second) -->
                        <property name="queryTimeout">60</property>
                </runtime>

        </proxy>

        <!--
                Each ConnectionManager will start as thread
                manager responsible for the Connection IO read , Death Detection
        -->
        <connectionManagerList>
                <connectionManager name="clientConnectioneManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">
                        <property name="subManagerClassName">com.meidusa.amoeba.net.ConnectionManager</property>
                        <!--
                          default value is avaliable Processors
                        <property name="processors">5</property>
                         -->
                </connectionManager>
                <connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">
                        <property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property>

                        <!--
                          default value is avaliable Processors
                        <property name="processors">5</property>
                         -->
                </connectionManager>
        </connectionManagerList>

                <!-- default using file loader -->
        <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
                <property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
        </dbServerLoader>

        <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
                <property name="ruleLoader">
                        <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
                                <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
                                <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
                        </bean>
                </property>
                <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
                <property name="LRUMapSize">1500</property>

                <!-- 默认数据库，主数据库 -->
                <property name="defaultPool">master</property>

                <!-- 写数据库 -->
                <property name="writePool">master</property>
                <!-- 读数据库，dbServer.xml 中配置的 虚拟数据库，数据库池 -->
                <property name="readPool">slaves</property>

                <property name="needParse">true</property>
        </queryRouter>

Amoeba 相关配置文件结束;

三 Amoeba 读写分离 测试

• 启动amoeba服务，命令进入amoeba/bin目录执行

# ./amoeba start 

启动失败了，原因 Amoeba 启动 指定的堆栈大小太小,指定至少228k；解决办法 ：

打开bin/amoeba，DEFAULT_OPTS=”-server -Xms256m -Xmx256m -Xss128k”改成：DEFAULT_OPTS=”-server -Xms512m -Xmx512m -Xmn100m -Xss1204k”

启动成功如下：

测试 读写分离结果，我们在主数据库 写入5条数据，在链接amoeba链接的客户端查看，结果是查询5条数据，管理 slave stop 服务，在从数据库，写入一条数据，再次查询 结果多了一条数据，说明读写分离完成;

相关的参考文档：http://blog.csdn.net/liulihui1988/article/details/51985517;

http://blog.csdn.net/liulihui1988/article/details/79066755

http://www.iteye.com/topic/1113437