一步一图搭建-分布式服务器部署之mysql集群-使用amoeba整合mysql实现读写分离

数据库的读写分离

说明:
由于数据库没有优化,会导致主数据库的压力较大.
策略:
如果是读的操作,都访问从数据库.
如果是写的操作.都访问主数据库.

介绍:

Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比，作者强调的是amoeba配置的方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于lua脚本的MySQL Proxy简单）。
Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制，第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符合KISS原则的思想。
优势
Amoeba主要解决以下问题：
a). 数据切分后复杂数据源整合
b). 提供数据切分规则并降低数据切分规则给数据库带来的影响
c). 降低数据库与客户端连接
d). 读写分离路由

通过Amoeba实现读写分离

本篇是上篇 mysql集群主从复制的续篇 前面给大家讲到主从复制，给啦数据库安全一个备份保障。但真正的使用环境下。查数据远远比写数据或修改数据的操作多得多；马云也说过每小时有一千万的用户在淘宝上只看不买。包括我也是。根据这个业务场景我们就可以做一些优化操作，但用户查看时，把流量导向一部分专门提供查看的数据库集群，当用户执行下单等写操作时，把流量导入另外一些服务器集群，这样实现读写分离，抗住高并发，实现高可用。打造更加强大、更加强健、更加安全的数据库集群。

安装:

1.需要依赖JDK

jdk的配置网上有一大堆，我就不多赘述啦。
下载amoeba软件，上传到服务器中，上面讲的要用三台服务器，一台主服务器，一台从服务器，另外一台就是amoeba管理服务器啦

解压软件：

将软件移到相应的位置（这里主要是为啦以后便于管理 非必需操作）

进入amoeba目录：
这里主要配置二个地方即可，我们先从conf目录下配置：

在conf，=目录下只需要配置两个文件：dbServers.xml amoeba.xml

dbServers.xml 主要配置amoeba连接需要管理的mysql集群 配置如下：

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">

<dbServer name="abstractServer" abstractive="true">
<factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
    <property name="connectionManager">${defaultManager}</property>
        <property name="sendBufferSize">64</property>
        <property name="receiveBufferSize">128</property>
        <!-- mysql port 要求所管理的mysql的端口号必须为3306 -->
        <property name="port">3306</property>
        <!-- mysql schema -->
        <property name="schema">test</property>
        <!-- 之前安装数据库的时候最好所有的用户名和密码都是一致的-->
        <property name="user"><!-数据库用户名--></property>
        <property name="password"><!--数据库密码--></property>
</factoryConfig>

<poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
    <property name="maxActive">500</property>
    <property name="maxIdle">500</property>
    <property name="minIdle">1</property>
    <property name="minEvictableIdleTimeMillis">600000</property>
    <property name="timeBetweenEvictionRunsMillis">600000</property>
    <property name="testOnBorrow">true</property>
    <property name="testOnReturn">true</property>
    <property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>

<dbServer name="master"  parent="abstractServer">
    <factoryConfig>
        <!-- mysql ip -->
        <property name="ipAddress"><!--主数据库ip--></property>
    </factoryConfig>
</dbServer>

<dbServer name="slave01"  parent="abstractServer">
    <factoryConfig>
        <!-- mysql ip -->
        <property name="ipAddress"><!--从数据库ip--></property>
    </factoryConfig>
</dbServer>

<dbServer name="multiPool" virtual="true">
    <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
        <!--负载均衡的方式  1轮询  2权重  3哈希-->
        <property name="loadbalance">1</property>       
        <!--轮询的配置方式  读2次从 读一次主机-->
        <property name="poolNames">slave01,master,slave01</property>
    </poolConfig>
</dbServer>

</amoeba:dbServers>

amoeba.xml 主要配置amoeba连接与与数据库的读写权限分配：

<?xml version="1.0" encoding="gbk"?>
<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
    <proxy>
        <!-- service class must implements com.meidusa.amoeba.service.Service -->
        <service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
            <!-- port -->
            <property name="port">8066</property>
            <property name="connectionFactory">
                <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
                    <property name="sendBufferSize">128</property>
                    <property name="receiveBufferSize">64</property>
                </bean>
            </property>
            <property name="authenticateProvider">
                <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
                    <!--为其添加用户名 和密码-->
                    <property name="user">root</property>
                    <property name="password">root</property>
                    <property name="filter">
                        <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
                            <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
                        </bean>
                    </property>
                </bean>
            </property>

        </service>
        <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
            <!-- proxy server client process thread size -->
            <property name="executeThreadSize">128</property>
            <!-- per connection cache prepared statement size  -->
            <property name="statementCacheSize">500</property>
            <!-- query timeout( default: 60 second , TimeUnit:second) -->
            <property name="queryTimeout">60</property>
        </runtime>
    </proxy>
    <!-- 
        Each ConnectionManager will start as thread
        manager responsible for the Connection IO read , Death Detection
    -->
    <connectionManagerList>
        <connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
            <property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
        </connectionManager>
    </connectionManagerList>

        <!-- default using file loader -->
    <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
        <property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
    </dbServerLoader>

    <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
        <property name="ruleLoader">
            <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
                <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
                <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
            </bean>
        </property>
        <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
        <property name="LRUMapSize">1500</property>
        <property name="defaultPool">master</property>

        <!--写的服务-->
        <property name="writePool">master</property>
        <!--读的服务-->
        <property name="readPool">multiPool</property>

        <property name="needParse">true</property>
    </queryRouter>
</amoeba:configuration>

由于所有的读写操作都需要通过amoeba来进行中转，所以amoeba所需要的运行空间需要更大，这里是加大amoeba的运行资源：

jvm.properties

# app名字
APP_NAME=Amoeba-MySQL

# app版本号
APP_VERSION=3.0.0-beta

# 日志输出路径，log4j中可引用参数 ${project.output}

APP_OUTPUT_PATH=$PROJECT_HOME/logs

# 应用程序的PID文件存放路径,    默认存放在: ${project.home}/${APP_NAME}.pid

#APP_PID_PATH=/temp/logs/$APP_NAME


# 控制台输出到日志文件

APP_CONSOLE_LOG=$APP_OUTPUT_PATH/console.log


# 程序相关的配置参数

#APP_OPTIONS="-DmyParam=value1 -DmyParam2=value2"

# 启动参数  

#APP_ARGS="args0 "


# JVM相关的参数，包括内存配置、垃圾回收策略

JVM_OPTIONS="-server -Xms512m -Xmx1024m -Xss512k -XX:PermSize=16m -XX:MaxPermSize=96m"


# 应用程序忽略的信号列表，以逗号分割，程序shutdown的信号为15（可用 kill -15 pid 可让程序文明的shutdown，请不要在这儿填15）

IGNORE_SIGNALS=1,2

配置好后 cd ../bin 进入bin目录下 运行amoeba：

amoeba运行在8066端口：

测试配置的amoeba，这时我们的程序就可以直接连amoeba 再由amoeba智能中转到数据库中，这里的amoeba就相当于一个主服务器的代理服务器，这里我们用sqLyog数据库连接工具来代替程序连接：

如果连接不上最有可能的情况就是系统的防火墙啦，把8066端口放出来：

这篇博客写的linux防火墙相关的命令十分详细，亲测有效

如果上面提到的都配置成功啦接下来就可以看到神奇的事情啦

amoeba中跟之前主服务器中的数据库完全一样，现在直接对amoeba进行操作就相当于操作啦主服务器，因为主服务器主要担任写操作，主服务器执行写操作后，从服务器会实时把主服务器上的数据同步下来；查服务由从服务器承担。这样就实现啦数据库的读写分离。这里只是拿两台数据库服务器做例子，在实际的运营中可以使用集群来操作。这样的服务器强度将会更加强大。