amoeba读写分离安装详细教程

最新推荐文章于 2022-06-25 11:17:06 发布

weixin_33860737

最新推荐文章于 2022-06-25 11:17:06 发布

阅读量328

点赞数

文章标签：数据库 java 开发工具

原文链接：http://blog.51cto.com/zhongliang/2152919

版权

amoeba

1. amoeba安装

1.1安装JDK

    http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm

1.2安装amoeba

    http://sourceforge.net/projects/amoeba/files/
    https://sourceforge.net/projects/amoeba/files/Amoeba%20for%20mysql/2.x/amoeba-mysql-binary-2.1.0-RC5.tar.gz/download

    tar -zxvf amoeba-mysql-binary-2.1.0-RC5.tar.gz -C /usr/local/amoeba
    可使用命令[/usr/local/amoeba/bin/amoeba]验证Amoeba是否安装成功。

1.3配置Mysql主从授权

    设置读写分离的权限
    禁止mysql.user表同步
    主： grant select,insert,update,delete on *.* to r-amoeba@'%' identified by '123456'
    从： grant select on *.* to w-amoeba@'%' identified by '123456'

mysql读写分离的授权方案

    mysql库不同步，再对主从进行授权
    主： web_r 123456 10.204.1.100 3306 (select,insert,delete,update)
    从： web_w 123456 10.204.1.101 3306 (select)
    缺隐：从接替主的时候，没有修改权限，替补方案是，做一台从专门冷备，用来接替主
    binlog-ignore-db=mysql
    binlog-ignore-db=performance_schema
    binlog-ignore-db=information_schema

    mysql库同步，在主上授权同步到从
    主： web_r 123456 10.204.1.100 3306 (select,insert,delete,update)
    如果防止从被写入，设置配置文件参数read-only，
    注意：read-only对root用户不生效

生产环境如何确保从库只读

    1. mysql从服务器中加入read-only参数或者从服务器启动时加该参数
    2. 忽略mysql库及information_schema库同步
    3. 授权从库用户仅授权select权限

3. amoeba配置

    ├── bin
    │   ├── amoeba
    ├── conf
    │   ├── amoeba.xml
    ├── dbServers.xml

    vim amoeba.xml
    配置ameoba访问的用户名和密码 IP 端口提供给web连接
                    <!-- service class must implements com.meidusa.amoeba.service.Service -->
                        <service name="Amoeba for Mysql" class="com.meidusa.amoeba.net.ServerableConnectionManager">
                                                    <!-- port --    绑定的端口>
                                                    <property name="port">8066</property>
                                                    <!-- bind ipAddress --绑定的IP  amoeba对外监听的IP>
                                                    <!--
                                                    <property name="ipAddress">127.0.0.1</property>
                                                     -->
                                                    <property name="manager">${clientConnectioneManager}</property>
                                                    <property name="connectionFactory">
                                                                    <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
                                                                                    <property name="sendBufferSize">128</property>
                                                                                    <property name="receiveBufferSize">64</property>
                                                                    </bean>
                                                    </property>
                                                    <property name="authenticator">
                                                                    <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
                                    # amoeba本地的用户名和密码
                                                                                    <property name="user">root</property>
                                                                                    <property name="password"></property>
                                                                                    <property name="filter">
                                         <bean class="com.meidusa.amoeba.server.IPAccessController">
                                        <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
                                                                                                    </bean>
                                                                                    </property>
                                                                    </bean>
                                                    </property>

                                    </service>

    查询路由设置
    <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
                                    <property name="ruleLoader">
                     <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
                     <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
                     <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
                                                    </bean>
                                    </property>
                                    <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
                                    <property name="LRUMapSize">1500</property>
                    # 设置默认的服务器（此处为master池）
                    # 设定可写节点，节点定义见dbServers.xml文件
                                    <property name="defaultPool">masterPool</property>
                                    <property name="writePool"> masterPool </property>  #设置写的库
                                    <property name="readPool"> salvePool </property>    # 设置读的库
                                    <property name="needParse">true</property>
                    </queryRouter>

    修改 vim  dbServers.xml

定义抽象服务器，为每个后端MySQL服务器提供默认连接配置

    ★<dbServer name="server1" abstractive="true">
                                    <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
                                                    <property name="manager">${defaultManager}</property>
                                                    <property name="sendBufferSize">64</property>
                                                    <property name="receiveBufferSize">128</property>
                                                    <!-- mysql port --mysql端口> 
                                                    <property name="port">3306</property>
                                                    <!-- mysql schema -->
                                                    <property name="schema">test</property>
                                                    <!-- mysql user --mysql用户名>
                                                    <property name="user">root</property>
                                                    <!--  mysql password  mysql密码
                                                    <property name="password">password</property>
                                                    -->

用户密码这一段只需要设置一次，下面子服务器共享上面的参数

                                    </factoryConfig>
    <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
                                                    <property name="maxActive">500</property>
                                                    <property name="maxIdle">500</property>
                                                    <property name="minIdle">10</property>
                                                    <property name="minEvictableIdleTimeMillis">600000</property>
                                                    <property name="timeBetweenEvictionRunsMillis">600000</property>
                                                    <property name="testOnBorrow">true</property>
                                                    <property name="testWhileIdle">true</property>
                                    </poolConfig>
                 ★ </dbServer>  # 以上多台mysql时，可配置多个<dbServer>… </dbServer>

定义后端MySQL的IP地址，一个master，一个slave

    <dbServer name="master"  parent="abstractServer">
                        <factoryConfig>
                    <property name="ipAddress">192.168.0.45</property>
                        </factoryConfig>
    </dbServer>
    <dbServer name="slave"  parent="abstractServer">
                        <factoryConfig>
                    <property name="ipAddress">192.168.0.46</property>
    </factoryConfig>
    </dbServer>

定义读池和写池分别设置server列表，设置负载均衡方式

    master-pool 定义池名和关联服务器
    <dbServer name="masterPool" virtual="true">
                 <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">

设置负载均衡参数 1=轮询 2=权重 3=Hash

     <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
            <property name="loadbalance">1</property>

  <!-- Separated by commas,such as: server1,server2,server1可以设置多个srever -->
        <property name="poolNames">server1</property>
                                    </poolConfig>
     </dbServer>

slave-pool 定义池名和关联服务器

<dbServer name="slavePool" virtual="true">
<poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
<!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->

设置轮询方式

<property name="loadbalance">1</property>
<!-- Separated by commas,such as: server1,server2,server1 可以设置多个srever -->

<property name="poolNames">server2</property>
</poolConfig>
</dbServer>

amoeba测试

    重台启动
    /usr/local/amoeba/bin/amoeba start &

    连接测试
    mysql -h127.0.0.1 -uroot -p -P8066 # amoeba默认监听端口为8066
    这里连接的是ameoba的IP

4. Amoeba调优

    <?xml version="1.0" encoding="gbk"?>
    <!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
    <amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
    <proxy>
        <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
         <!-- proxy server net IO Read thread size -->
         <property name="readThreadPoolSize">20</property>①
         <!-- proxy server client process thread size -->
         <property name="clientSideThreadPoolSize">30</property>②
         <!-- mysql server data packet process thread size -->
         <property name="serverSideThreadPoolSize">30</property>③
         <!-- per connection cache prepared statement size  -->
         <property name="statementCacheSize">500</property>④
         <!-- query timeout( default: 60 second , TimeUnit:second) -->
         <property name="queryTimeout">60</property>⑤ 
     </runtime>
    </proxy>
    </amoeba:configuration>

    ①readThreadPoolSize –用于处理客户端连接发送过来的数据，跟数据库服务器返回的数据的线程数 量这个可以根据客户端连接数量来调整。
    ②clientSideThreadPoolSize –在读线程读完客户端的请求数据包以后，这个线程将会接手处理具体 的业务逻辑（比如：解析SQL、SQL 路由）。
    ③serverSideThreadPoolSize –在server端读取数据库返回的数据包,合并多数据库返回的数据，将数 据包发送到客户端。
    ④statementCacheSize –连接池缓存的Prepared Statement数量。
    ⑤queryTimeout –语句执行超时时间设置。

    <?xml version="1.0" encoding="gbk"?>
    <!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
    <amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
    <proxy>
        <service name="Amoeba for Mysql" class="com.meidusa.amoeba.net.ServerableConnectionManager">
         <property name="connectionFactory">
            <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
             <property name="sendBufferSize">128</property>①
             <property name="receiveBufferSize">64</property>②
             <property name="tcpNoDelay">true</property>③
            </bean>
         </property>
        </service>
    </proxy>
    </amoeba:configuration>

    ①sendBufferSize – 属性设置在SocketChannel.Write 方法的调用中期望发送的字节数。实际上， 此属性的操作对象是为发送操作所分配的网络缓冲区空间。网络缓冲区应至少与应用程序缓冲 区同样大小，这样才能确保在一次操作中就能存储和发送所需的数据。使用 SendBufferSize 属 性设置此大小。如果应用程序要发送批量数据，需为 Write 方法提供足够大的应用程序缓冲区。 如果网络缓冲区小于提供给 Write 方法的数据量，则对 Write 方法的每次调用都将多次执行网 络发送操作。通过确保网络缓冲区至少与应用程序缓冲区同样大小，可获得更大的数据吞吐量。

    ②receiveBufferSize–设置你希望在接收缓冲区中为每次读操作存储的字节数。实际上，此属性的操作对象是为 接收传入数据所分配的网络缓冲区空间。网络缓冲区应至少与应用程序缓冲区同样大小，这样才能确保在调用SocketChannel.Read 方法时所需的数据是可用的。使用 ReceiveBufferSize 属性 设置此大小。如果应用程序将要接收批量数据，应为Read方法提供非常大的应用程序缓冲区。 如果网络缓冲区小于在 Read 方法中所请求的数据量，你将无法在一次读取操作中检索到所需的 数据量。这将导致增加对 Read 方法的调用次数，进而增加系统开销。

    ③tcpNoDelay–如果禁用延迟，则为 true；否则为 false。默认值为 true。 如果该参数设为 false，则直到 TcpClient 收集到相当数量的输出数据之后，它才会通过网络发 送数据包。由于 TCP 段中系统开销的数量，发送少量数据时效率比较低。但是，也存在这样情 况：你可能要发送极少量的数据或者期望立即从你发送的每个数据包得到响应。你应该在网络效率与应用程序响应要求中取舍。

    Table 5.1. JVM（Java Virtual Machine）内存参数设置

    JVM选项   含义
    -Xms    初始Heap大小
    -Xmx    Java Heap最大值
    -Xmn    Young Generation的Heap大小
    -Xss    每个线程的Stack大小

5.amoeba报错

    The stack size specified is too small, Specify at least 228k
    Error: Could not create the Java Virtual Machine.
    Error: A fatal exception has occurred. Program will exit.

    解决方法：
    vim bin/amoeba
    DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k"
    改成256

    Exception in thread "main" com.meidusa.amoeba.config.ConfigurationException: Initialisation bean=com.meidusa.amoeba.server.MultipleServerPool@6eec8b11 error

MySQL + MMM架构

1.mysql-mmm 概述

 MMM即Master-Master Replication Manager for MySQL（mysql主主复制管理器）关于mysql主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件（在任何时候只有一个节点可以被写入），这个套件也能对居于标准的主从配置的任意数量的从服务器进行读负载均衡，所以你可以用它来在一组居于复制的服务器启动虚拟ip，除此之外，它还有实现数据备份、节点之间重新同步功能的脚本。

 MySQL本身没有提供replication failover的解决方案，通过MMM方案能实现服务器的故障转移，从而实现mysql的高可用。MMM项目来自Google：http://code.google.com/p/mysql-master-master
官方网站为：http://mysql-mmm.org

 mysql-mmm主要功能由下面三个脚本提供
mmm_mond  负责所有的监控工作的监控守护进程，决定节点的移除等等
mmm_agentd  运行在mysql服务器上的代理守护进程，通过简单远程服务集提供给监控节点
mmm_control  通过命令行管理mmm_mond进程

 mysql-mmm的监管端会提供多个虚拟IP（VIP），包括一个可写VIP，多个可读VIP，通过监管的管理，这些IP会绑定在可用mysql之上，当某一台mysql宕机时，监管会将VIP迁移至其他mysql。
在整个监管过程中，需要在mysql中添加相关授权用户，以便让mysql可以支持监理机的维护。授权的用户包括一个mmm_monitor用户和一个mmm_agent用户，如果想使用mmm的备份工具则还要添加一个mmm_tools用户。

转载于:https://blog.51cto.com/zhongliang/2152919

weixin_33860737

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
amoeba读写分离安装详细教程

amoeba1. amoeba安装1.1安装JDK http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm1.2安装amoeba http://sourceforge.net/projects/amoeba/fi...
复制链接

扫一扫