Amoeba for MySQL---分布式数据库Proxy解决方案

转载 2015年11月17日 17:24:49

Amoeba for MySQL 位于Client、Database Server(s)之间,具有负载均衡、高可用性、sql过滤、可承受高并发、读写分离、Query Route(解析sql query语句,并且根据条件与预先设定的规则,请求到指定的目标数据库。可并发请求多台数据库合并结果)、对客户端透明,能降低数据切分带来的复杂多数据库结构、数据切分规则给应用带来的影响。适用mysql 4.1或者以上版本(mysql 协议版本:10)暂时不支持事务、DDL语句目前只会分配给默认的数据库执行,运行环境至少需要运行 mysql 4.1以上服务, Java 1.5或以上版本。
Amoeba与mysql proxy存在一些区别。在mysql proxy上面如果想要读写分离并且读集群、写集群机器比较多情况下,用mysql proxy 需要自己写一个LUA脚本,目前mysql proxy没有现成的比较好的lua脚本。amoeba只需要进行相关的配置就可以满足需求。


一、Mysql Master/Slave 结构之下的读写分离:
Master: serverM (主库,接收写操作)
slaves:serverA、serverB、serverC(3个辅库,只读操作)

amoeba提供读写分离pool相关配置,可配置serverA、serverB、serverC形成一个虚拟的virtualSlave,该配置提供LB,failover/failbackup功能.
 
<dbServer name="virtualSlave" virtual="true"> 
    <poolConfig> 
        <className>com.meidusa.amoeba.server.MultipleServerPool</className> 
        <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED --> 
        <property name="loadbalance">1</property> 
                  
        <!-- 参与该pool负载均衡的poolName列表以逗号分割 --> 
        <property name="poolNames">serverA,serverB,serverC</property> 
    </poolConfig> 
</dbServer> 


<dbServer name="virtualSlave" virtual="true">
 <poolConfig>
  <className>com.meidusa.amoeba.server.MultipleServerPool</className>
  <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED -->
  <property name="loadbalance">1</property>
    
  <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
  <property name="poolNames">serverA,serverB,serverC</property>
 </poolConfig>
</dbServer>

 

如果不启用数据切分功能,那么只需要配置QueryRouter属性
wirtePool=serverM
readPool=virtualSlave

<queryRouter> 
    <className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className> 
    <property name="LRUMapSize">1500</property> 
    <property name="defaultPool">serverM</property> 
 
    <property name="writePool">serverM</property> 
    <property name="readPool">virtualSlave</property> 
 
    <property name="needParse">true</property> 
</queryRouter> 

 <queryRouter>
  <className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className>
  <property name="LRUMapSize">1500</property>
  <property name="defaultPool">serverM</property>

  <property name="writePool">serverM</property>
  <property name="readPool">virtualSlave</property>

  <property name="needParse">true</property>
 </queryRouter>


client发送过来的update/insert/delete语句被发送到wirtePool,将select语句发送到readPool机器执行。

 

二、数据切分方面:
这方面amoeba显然也很容易,举个数据切分例子:

select * from user_event where user_id='test' and  gmt_create between Sysdate() -1 and Sysdate()

如果根据gmt_create 时间进行数据切分,比如6个月进行切分一次,amoeba提供利用类似sql表达式进行数据切分:

规则1:GMT_CREATE > to_date('2008-01-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-05-31','yyyy-mm-dd')

规则1对应服务器1

规则2:GMT_CREATE > to_date('2008-06-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-12-31','yyyy-mm-dd')

规则2对应服务器2
上面的sql的条件 gmt_create 与规则里面的的gmt_create 进行交集判断,如果存在交集则表示符合规则,则会将sql转移到 规则1 的相应的服务器上面执行。

利用amoeba写出这种类似规则很容易,但是要想做到数据切分以后可线性扩容,那么这样的规则需要自己根据业务实际情况进行设置。amoeba可同时将sql并发分发到多台服务器、然后将结果合并再反馈给客户端,而且amoeba内部采用无阻塞模式,工作线程是不会等待的,并发请求多台 database server情况下,客户端等待的时间基本上面是性能最差的那台database server+amoeba内部解析协议时间。


中文文档地址: http://amoeba.sourceforge.net/amoeba.pdf
amoeba 未来发展方向: http://amoeba.sourceforge.net/amoeba-big-picture.pdf

文件下载: http://www.sourceforge.net/projects/amoeba
amoeba 开发者博客: http://amoeba.meidusa.com

相关文章推荐

Amoeba:开源的分布式数据库Porxy解决方案

什么是Amoeba? Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问...

史上最详细的解决 Amoeba连接mysql出错 解决方案

今天配置mysql的主从复制 用到了Amoeba。从安装到启动服务,我深深的感受到这个世界的恶意。 首先是安装错误的解决,连接错误的兄弟可以直接往下拉。 1.出现 JAVA_HOME enviro...

TiDB:支持 MySQL 协议的分布式数据库解决方案

【编者按】TiDB 是国内 PingCAP 团队开发的一个分布式 SQL 数据库。其灵感来自于 Google 的 F1,TiDB 支持包括传统 RDBMS 和 NoSQL 的特性。在国内 ITOM 管...

{{js跨域请求解决方案}}Use a Web Proxy for Cross-Domain XMLHttpRequest Calls(使用服务器端代理实现Ajax跨域请求)

JavaScript: Use a Web Proxy for Cross-Domain XMLHttpRequest Calls 综述: XMLHttpRequest同域限制只是浏览器端的安全限...

高效分布式数据库缓存经典解决方案,单应用服务器可撑1亿pv/天

我觉得我的帖子应该发到这里才对,希望版主帮加精置顶,我敢说这个帖子是难得一见的高水准的帖子,也是许许多多技术员梦寐以求提高网站性能的经典解决方案。如果你认真看完我的系统,你就会觉得hibernate自...

阿里巴巴分布式数据库解决方案——Cobar中间件配置详解 (转)

阿里巴巴分布式数据库解决方案——Cobar中间件配置详解(转)   据说该产品在阿里的B2B上已经运行3年之久,通过Cobar中间件,可以像传统数据库一样为分布式数据库集群提供海量数据服务,...
  • ly4983
  • ly4983
  • 2013-12-30 15:41
  • 1402

分布式情况下生成数据库唯一ID的解决方案

D作为业务的唯一标识,在数据设计中屡见不鲜,例如: •商品 —— product_id •订单 —— order_id •消息 —— message_id 这些标识...

基于mycat分布式数据库解决方案的学习汇总

最近公司推荐了mycat分布式中间件解决数据库分布式方案,今天到mycat官网学了一翻(http://www.mycat.org.cn),汇总下几个重点: mycat是什么? ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)