amoeba mysql_Amoeba介绍及Amoeba和mysql proxy有区别

1. Amoeba 是什么

Amoeba(变形虫)项目,专注 数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。

假如有一条sql: select * from test.account as t where t.id = 1990000002; 假设account表的那些id从1-1990000002 都有数据,那么你的account表将会多么庞大. 你已经不可能将所有的数据存放到一台数据库上面,这样的数据库执行sql性能将受到严重的影响。假设你将这些数据切分成100台数据库,每台存放20,000,000数据。

只要能够制定一个恰当的数据切分规则,那么amoeba 将轻易解决数据切分并且可以将query语句路由到目标数据库上面执行。

主要解决:降低 数据切分带来的复杂多数据库结构

降低 数据切分规则 给应用带来的影响

降低db 与客户端的连接数

读写分离

相关文章有:

2. Amoeba 跟 mysql proxy有区别。

主要是针对数据切分方面。

在 mysql proxy 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下,用mysql proxy 需要相当大的工作量,目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件,lua脚本就是它的全部,当然可以是相当方便的。那么同样这种东西需要编写大量的lua脚本才能完成一个复杂的配置。amoeba目标是走产品化这条路。只需要进行相关的配置就可以满足需求。

一、Mysql Master/Slave 结构之下的读写分离:

Master: server1 (可读写)

slaves:server2、server3、server4(3个平等的数据库。只读/负载均衡)

amoeba提供读写分离pool相关配置。并且提供负载均衡配置。

可配置server2、server3、server4形成一个虚拟的 virtualSlave,该配置提供负载均衡、failOver、故障恢复功能

Xml代码 < type="application/x-shockwave-flash" width="14" height="15" src="http://www.javaeye.com/javascripts/syntaxhighlighter/clipboard_new.swf" pluginspage="http://www.macromedia.com/go/getflashplayer" allowscriptaccess="always" quality="high" flashvars="clipboard=%0A%3CdbServer%20name%3D%22virtualSlave%22%20virtual%3D%22true%22%3E%0A%09%3CpoolConfig%3E%0A%09%09%3CclassName%3Ecom.meidusa.amoeba.server.MultipleServerPool%3C%2FclassName%3E%0A%09%09%3C!--%20%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1%E5%8F%82%E6%95%B0%201%3DROUNDROBIN%20%2C%202%3DWEIGHTBASED%20--%3E%0A%09%09%3Cproperty%20name%3D%22loadbalance%22%3E1%3C%2Fproperty%3E%0A%09%09%09%09%0A%09%09%3C!--%20%E5%8F%82%E4%B8%8E%E8%AF%A5pool%E8%B4%9F%E8%BD%BD%E5%9D%87%E8%A1%A1%E7%9A%84poolName%E5%88%97%E8%A1%A8%E4%BB%A5%E9%80%97%E5%8F%B7%E5%88%86%E5%89%B2%20--%3E%0A%09%09%3Cproperty%20name%3D%22poolNames%22%3Eserver2%2Cserver3%2Cserver4%3C%2Fproperty%3E%0A%09%3C%2FpoolConfig%3E%0A%3C%2FdbServer%3E%0A%0A">

com.meidusa.amoeba.server.MultipleServerPool

1

server2,server3,server4

如果不启用数据切分,那么只需要配置QueryRouter属性

wirtePool=server1

readPool=virtualSlave

Xml代码 < type="application/x-shockwave-flash" width="14" height="15" src="http://www.javaeye.com/javascripts/syntaxhighlighter/clipboard_new.swf" pluginspage="http://www.macromedia.com/go/getflashplayer" allowscriptaccess="always" quality="high" flashvars="clipboard=%09%3CqueryRouter%3E%0A%09%09%3CclassName%3Ecom.meidusa.amoeba.mysql.parser.MysqlQueryRouter%3C%2FclassName%3E%0A%09%09%3Cproperty%20name%3D%22LRUMapSize%22%3E1500%3C%2Fproperty%3E%0A%09%09%3Cproperty%20name%3D%22defaultPool%22%3Eserver1%3C%2Fproperty%3E%0A%0A%09%09%3Cproperty%20name%3D%22writePool%22%3Eserver1%3C%2Fproperty%3E%0A%09%09%3Cproperty%20name%3D%22readPool%22%3EvirtualSlave%3C%2Fproperty%3E%0A%0A%09%09%3Cproperty%20name%3D%22needParse%22%3Etrue%3C%2Fproperty%3E%0A%09%3C%2FqueryRouter%3E%0A">

com.meidusa.amoeba.mysql.parser.MysqlQueryRouter

1500

server1

server1

virtualSlave

true

那么遇到update/insert/delete将 query语句发送到 wirtePool,将 select发送到 readPool机器中执行。

二、数据切分:

这方面amoeba显然更加容易了。

举个数据切分例子:

select * from user_event where user_id='test' and  gmt_create between Sysdate() -1 and Sysdate()

如果根据gmt_create 时间进行数据切分,比如 6个月进行切分一次

amoeba提供利用类似sql表达式进行数据切分:

规则1:GMT_CREATE > to_date('2008-01-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-05-31','yyyy-mm-dd')

规则1对应服务器1

规则2:GMT_CREATE > to_date('2008-06-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-12-31','yyyy-mm-dd')

规则2对应服务器2

上面的sql的条件 gmt_create 与规则里面的的gmt_create 进行 交集判断,如果存在交集则表示符合规则。

则会将sql转移到 规则1 的相应的服务器上面执行。

利用amoeba写出这种类似规则很容易,但是要想做到数据切分以后可线性扩容,那么这样的规则需要自己根据业务实际情况进行设置。

amoeba可同时将sql 并发分发到多台服务器、然后将结果合并再反馈给客户端,而且amoeba内部现成采用无阻塞模式,工作线程是不会等待的,并发请求多台 database server情况下,客户端等待的时间基本上面是性能最差的那台 database server+amoeba内部解析协议的时间

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Amoeba:分布式数据库Proxy解决方案 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充,数据库应用 已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足:集中式处理,势必造成性 能瓶颈;应用程序集中在一台计算机上运行,一旦该计算机发生故障,则整个系统受到影响,可靠性 不高;集中式处理引起系统的规模和配置都不够灵活,系统的可扩充性差。在这种形势下,集中式数 据库将向分布式数据库发展。 分布式数据库系统的优点: 1、降低费用。分布式数据库在地理上可以式分布的。其系统的结构符合这种分布的要求。允许用 户在自己的本地录用、查询、维护等操作,实行局部控制,降低通信代价,避免集中式需要更高要求 的硬件设备。而且分布式数据库在单台机器上面数据量较少,其响应速度明显提升。 2、提高系统整体可用性。避免了因为单台数据库的故障而造成全部瘫痪的后果。 3、易于扩展处理能力和系统规模。分布式数据库系统的结构可以很容易地扩展系统,在分布式数 据库中增加一个新的节点,不影响现有系统的正常运行。这种方式比扩大集中式系统要灵活经济。在 集中式系统中扩大系统和系统升级,由于有硬件不兼容和软件改变困难等缺点,升级的代价常常是昂 贵和不可行的。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值