数据库中间件
幽灵之使
善于交际,工作自信
展开
-
数据库中间件选型思考
背景目前公司业务高速发展,各种业务数据呈井喷的态势,单表数据量急剧膨胀,随之而来是单表读写性能和吞吐量呈下降趋势而且无法应对业务高速增长产生的数据。因此需要使用分库分表机制保证高性能同时支撑和驱动业务发展,选择一款功能强大支持分库分表的中间件就成为当务之急。开源的数据库中间件众多,需要从中挑选一个适合的,并能作为映客长期演进的中间件,因此需要从多个维度对中间件进行相关测试目标本次测试,不是对MySQ原创 2017-05-11 15:34:49 · 5945 阅读 · 0 评论 -
数据库Sharding
Sharding介绍Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上,从而缓解单一数据库的性能问题。Sharding分为垂直拆分和水平拆分两种。垂直拆分在业务的初期,不可避免会将多个系统的db放在同一台mysql instance上,伴随这业务的不断壮大,需要进行“垂直拆分”,将不同的业务拆分出去。 拆分原因:防止其他db使用不当,比如说有问题的SQL(原创 2017-05-11 15:50:05 · 2476 阅读 · 0 评论 -
数据库中间件-分库分表压测报告
测试环境软硬件环境4个彼此相互独立rds实例:硬件配置相同,每个配置为:4核心、8GB内存、20GB磁盘,每个实例创建一个数据库名称为dbproxy一个中间件节点,硬件配置相同,配置为:8核心、8GB内存、20GB磁盘 中间件默认工作线程数:32一个客户端节点,硬件配置相同,配置为:4核心、8GB内存、20GB磁盘 压力测试工具:基于sysbench开源定制扩展版一个表:表名为为sbt原创 2017-05-11 21:13:13 · 6907 阅读 · 1 评论 -
测试国内开源数据库中间件Mycat和Atlas体会
思考与体会国内开源数据库中间件(Mycat和Atlas)安装和配置耗时,而且坑比较多,基本是KPI产物,文档不完善也不随代码同步更新,安装配置都是比较困难事情,需要查资料,有时甚至要看看代码跟踪研究配置原理测试工具选型也比较耗费,选型tpcc和sysbench对中间件测试。 测试工具,版本多(都不知道选择哪个版本合适),参数多,测试维度多 这2个测试工具都是国外个人开发的,基本无文档,国内原创 2017-05-13 15:16:38 · 8572 阅读 · 0 评论 -
Mycat和Atlas分库分表安装、配置指南
背景数据库中间件选型思考 官网上安装、配置信息零散,需要使用者收集整理信息,在理解基础上正确配置,才能保证运行成功。这个工作比较耗时,希望读者看到此博客能快速run起来。网络博客上也有很多人写Mycat和Atlas,绝大多数是针对Mycat和Atlas读写分离场景配置的。对Atlas,奇虎360在GitHub上开源了2个版本,一个版本为纯代理版,支持分表功能,另一个为Sharding版本。本次配置原创 2017-05-15 11:29:56 · 9871 阅读 · 1 评论 -
定制开发sysbench扩展版压测分库分表场景
背景使用sysbench基准工具对Mycat和Atlas进行压测,通过综合比较从中选择一个作为今后选择的方向,更多背景信息请参考如下:数据库中间件选型思考数据库中间件-分库分表压测报告测试国内开源数据库中间件Mycat和Atlas体会Mycat和Atlas分库分表安装、配置指南sysbench介绍SysBench是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同系统参数下原创 2017-05-16 18:21:05 · 4052 阅读 · 8 评论