Google公开Megastore论文——解决NoSQL、SQL融合难题

Google公开Megastore论文——解决NoSQL、SQL融合难题

2011-02-11 00:42  |  20409次阅读  |  【已有24 条评论】发表评论

来源:CSDN编译  |  作者:谭茂  |  收藏到我的网摘

 

实际上,作为一个建立于Bigtable之上的分布式存储系统,Megastore已经被谷歌使用了数年。Google在2008年的 SIGMOD大会上就已经开始讨论它了,但相关技术信息直到最近才被公布,在上个月举行的创新数据系统研讨会上(CIDR),Google公开了其 Megastore分布式存储技术的白皮书。

论文地址下载:http://www.cidrdb.org/cidr2011/Papers/CIDR11_Paper32.pdf

论文译文链接: http://cloud.csdn.net/a/20110216/291968.html

在该白皮书上,Google对于Megastore的功能描述是——高扩展性并具有高密度交互的可用存储服务,其在Google的基础系统之中,其主要用来解决Appengine的数据存储问题。

Megastore融合NoSQL和SQL

提到Google的Bigtable,必然会提到NoSQL,对于广大的NoSQL研发人员而言,当前最核心问题正纠结于如何将NoSQL与传统的关系型数据库融合,而Megastore就是专门用来解决这一问题的。

Megastore用一种新颖的方式把NoSQL数据存储的可扩展性和传统的关系型数据库融合在一起,并为一致性和高可用性提供了强有力的保证。Google在该论文中指出。目前提供的数据完全按照ACID语义序列进行高密度的排序。

Google重点谈到了现今的Web应用,白皮书中指出,所有的Web应用都面临以下技术瓶颈:可扩展性、快速的争取并发展用户、延迟反应、用户数据(云环境下要保证任何时候都可用)。

“但实际上,这些需求是冲突的”,白皮书指出。“关系数据库提供了一组丰富且方便构建应用程序的功能,但是它们很难扩展到数以亿计的用户。非关系数 据库则有高度的可扩展性。例如谷歌的Bigtable,Apache Hadoop的HBase,或者Facebook的cassandra。但其API有限且松散一致性模型不利于开发应用。在远程数据中心之间传送数据,同 时保证低延迟是具有挑战性的。要注意保证所复制数据的一致性,尤其是传送过程中的错误。”

关系型数据库在Google没有未来

传统的关系数据库管理系统已经被Google所否定,比如MySQL。在该文件中指出,“昂贵的商业数据库系统,如Oracle数据库,会大幅加大用户在云中大幅部署的总成本”。

Megastore的设计原理在于,能够在广域网中同步复制文件写操作、可接受的延时、支持跨数据中心的故障迁移。在两个可扩展的非关系数据库的中间地带,比一个传统的关系数据库更为方便。

Google在该论文中还透露,目前Google有100多个生产应用Megastore作为存储服务,而这些应用的可靠度在 99.99%到100%之间。根据数据中心的距离和写入数据的大小,应用程序的平均读取延迟在万分之一毫秒之内,平均写入延迟在100至400毫秒之间。

NoSQL专家——ACID令人印象深刻

曾经关注了Megastore多年,并不停更新关于Megastore的技术信息的Amazon的技术大牛——James Hamilton日前在其博客中公开表示 ,很钦佩该技术,他在博客中写道:“Megastore一贯支持阅读和完整更新ACID语义使人印象深刻,即便不能够更新比'每秒数'限制更多的实体组限制。”

CSDN观察: 实际上,Megastore已经是Google过时的存储技术,但聊胜于无,Google选择在此时将此论文公开,对于NoSQL的整体技术进步无疑还是有好处的。

Google目前正在使用的存储系统是Spanner架构,在Google的技术规划中,Spanner能够控制一百万到一千万台 服务器,包括10万亿(1013)目录和一千万亿(1018)字节的存储空间。而这所有一切分散在世界各地的数据中心,而Spanner的最强大之处在于 能够为50毫秒之内的数据传递提供通道——即便这两个数据中心分布于地球的两端。

原文链接:http://www.informationweek.com/news/internet/google/showArticle.jhtml?articleID=229205494&cid=RSSfeed_IWK_All


【 发表评论  24 条 】

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值