关闭

[置顶] 如何设计一个数据库中间件(支持百亿级别数据存储)

标签: 数据库中间件mysqlsqlnosql分表分库
11213人阅读 评论(5) 收藏 举报
分类:


继《如何设计开发一个可用的web容器》之后又一如何系列文章,《如何设计一个数据库中间件》






==========广告时间==========

公众号的菜单已分为“分布式”、“机器学习”、“深度学习”、“NLP”、“Java深度”、“Java并发核心”、“JDK源码”、“Tomcat内核”等,可能有一款适合你的胃口。


鄙人的新书《Tomcat内核设计剖析》已经在京东销售了,有需要的朋友可以购买。感谢各位朋友。


[为什么写《Tomcat内核设计剖析》](http://blog.csdn.net/wangyangzhizhou/article/details/74080321)

=========================

5
4
查看评论

100亿数据1万属性数据架构设计

对于version + ext方案,说明不仅不是“不可能这么用”,而是大数据,可变属性,高吞吐场景下的“常用手段”。   一、背景描述及业务介绍 问:什么是数据库扩展的version + ext方案? 使用ext来承载不同业务需求的个性化属性,使用version来标识ext里各个字...
  • qq_19707521
  • qq_19707521
  • 2017-03-02 14:41
  • 410

MySQL 中间件汇总比较

-360 Atlas        较为活跃        atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8...
  • Jerome_s
  • Jerome_s
  • 2017-01-01 15:54
  • 18417

开源数据库中间件对比

本文比较了360(Atlas)、美团点评(DBProxy)、Kingshard、携程(DAL)、蘑菇街(TSharding)、阿里(TDDL)、当当(Sharding-JDBC 360)、MyCAT 共8种当下流行的开源数据库中间件,从总体来看mycat占据优势
  • oDaiLiDong
  • oDaiLiDong
  • 2017-04-16 14:52
  • 4629

数据库同步中间件

背景 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开...
  • zkaipmoo
  • zkaipmoo
  • 2016-03-23 11:57
  • 1473

mysql 存储及查询亿级数据

第一阶段: 1,一定要正确设计索引 2,一定要避免SQL语句全表扫描,所以SQL一定要走索引(如:一切的 > < != 等等之类的写法都会导致全表扫描) 3,一定要避免 limit 10000000,20 这样的查询 4,一定要避免 LEFT JOIN 之类的查询,不把这样的逻辑处理交给...
  • czw698
  • czw698
  • 2014-12-31 13:54
  • 11113

从“如何设计用户超过1亿的应用”说起—数据库调优实战

http://www.csdn.net/article/a/2014-12-09/15821480 摘要:杭州湖畔网络技术有限公司是一家专业提供SaaS化电商ERP服务的创业公司,主要用户群体为经营淘宝、天猫、京东等主流电商平台、自建商城、线下渠道的商家及中小企业。作为SaaS...
  • coolybq
  • coolybq
  • 2016-05-15 14:38
  • 1665

架构设计—神一般存在的中间件

初识中间件是CORBA,听主席在上面吹牛,感觉除了神奇还是神奇,又是跨语言、又是跨操作系统、还能跨网络,效率还高,伸缩性还强,真是银弹啊。可是在用的过程中除了感觉难用,还是难用。后识中间件是现在的工作单位使用tuxedo来发布各式各样的服务来构建系统。可是中间件到底是啥,翻了一下维基百科,看了一下中...
  • FlyAnyWhere
  • FlyAnyWhere
  • 2014-09-16 15:30
  • 1189

数据库中间件1:数据库中间件的几种功能简介

数据库中间件的基本功能简介
  • a615549958
  • a615549958
  • 2017-09-04 22:59
  • 302

100亿数据1万属性数据架构设计

对于version + ext方案,还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节,说明不仅不是“不可能这么用”,而是大数据,可变属性,高吞吐场景下的“常用手段”。   一、背景描述及业务介绍 问:什么是数据库扩展的version...
  • admin1973
  • admin1973
  • 2017-02-16 09:27
  • 1117

百亿级全网舆情分析系统存储设计

前言 在时下互联网信息的浪潮下,信息的传播速度远超我们的想象。微博里一条大V的帖子,朋友圈的一个状态更新,热门论坛的一条新闻,购物平台的购物评价,可能会产生数以万计的转发,关注,点赞。如果是一些非理性负面的评论会激发人们的负面感,甚至影响到消费者对企业品牌的认同,如果不能及时的采取正确的应对措...
  • zhoushuntian
  • zhoushuntian
  • 2017-11-29 16:58
  • 95
    作者
    https://github.com/sea-boat

    公众号:(内容包括分布式、机器学习、深度学习、NLP、Java深度、Java并发核心、JDK源码、Tomcat内核等等)



    微信:

    打赏作者

    如果您觉得作者写的文章有帮助到您,您可以打赏作者一瓶汽水(*^__^*)

    个人资料
    • 访问:1065187次
    • 积分:14107
    • 等级:
    • 排名:第1049名
    • 原创:327篇
    • 转载:5篇
    • 译文:1篇
    • 评论:348条
    博客专栏
    最新评论