库中间件
caodongfang126
这个作者很懒,什么都没留下…
展开
-
mycat配置mysql的读写分离
读写分离模式修改mycat的schema.xml:balance为1:让全部的readHost及备用的writeHost参与select的负载均衡。switchType为2:基于MySQL主从同步的状态决定是否切换。heartbeat:主从切换的心跳语句必须为show slave status。<dataHost name="localhost1" maxCon="...原创 2019-12-09 11:19:18 · 344 阅读 · 0 评论 -
分库分表带来的问题
一.分库分表带来的问题分库分表能有效的环节单机和单库带来的性能瓶颈和压力,突破网络IO、硬件资源、连接数的瓶颈,同时也带来了一些问题。下面将描述这些技术挑战以及对应的解决思路。1、事务一致性问题分布式事务当更新内容同时分布在不同库中,不可避免会带来跨库事务问题。跨分片事务也是分布式事务,没有简单的方案,一般可使用"XA协议"和"两阶段提交"处理。分布式事务能最大限度保证了数...原创 2019-12-06 14:58:19 · 1003 阅读 · 0 评论 -
想用数据库“读写分离” 请先明白“读写分离”解决什么问题
有一些技术同学可能对于“读写分离”了解不多,认为数据库的负载问题都可以使用“读写分离”来解决。这其实是一个非常大的误区,我们要用“读写分离”,首先应该明白“读写分离”是用来解决什么样的问题的,而不是仅仅会用这个技术。什么是读写分离?其实就是将数据库分为了主从库,一个主库用于写数据,多个从库完成读数据的操作,主从库之间通过某种机制进行数据的同步,是一种常见的数据库架构。一个...转载 2019-12-06 14:43:04 · 262 阅读 · 1 评论 -
分库分表
技术选型 既然要分库分表那数据库集群是少不了的,那我们的项目怎样和这些集群打交道呢?我调研了大概分为以下几种来完成这个功能(仅仅针对java项目) 中间件 例如淘宝开源的cobar,以及后来开源社区根据cobar做二次开发的Mycat(个人建议如果使用中间件的话可以考虑Mycat) Jar形式的开源工具 ...原创 2019-12-05 17:59:07 · 106 阅读 · 0 评论 -
MySQL数据库之互联网常用分库分表方案
一、数据库瓶颈1、IO瓶颈2、CPU瓶颈二、分库分表1、水平分库2、水平分表3、垂直分库4、垂直分表三、分库分表工具四、分库分表步骤五、分库分表问题1、非partition key的查询问题(水平分库分表,拆分策略为常用的hash法)2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法)3、扩容问题(...转载 2019-12-05 17:44:50 · 111 阅读 · 0 评论 -
数据库中间件Mycat+SpringBoot完成分库分表
作者,蓝雄威,叩丁狼教育高级讲师。转载请联系作者。一、背景随着时间和业务的发展,数据库中的数据量增长是不可控的,库和表中的数据会越来越大,随之带来的是更高的磁盘、IO、系统开销,甚至性能上的瓶颈,而一台服务的资源终究是有限的,因此需要对数据库和表进行拆分,从而更好的提供数据服务。当用户表达到千万级别,在做很多操作的时候都会很吃力,所以当数据增长到1000万以上就需要分库分表来缓解单...转载 2019-12-05 17:42:05 · 135 阅读 · 0 评论 -
SpringBoot使用sharding-jdbc分库分表
阅读目录一、前言 二、使用当当网的sharding-jdbc分库分表 三、使用sharding-jdbc-spring-boot-starter分库分表 四、总结回到顶部一、前言一般来说,随着业务的发展数据库的数据量会越来越多,当单表数据超过上千万时执行一些查询sql语句就会遇到性能问题。一开始可以用主从复制读写分离来减轻db压力,但是后面还是要用分库分表把数据进行水平...转载 2019-12-05 17:39:59 · 279 阅读 · 0 评论 -
分库分表中间件技术选型总结
之前工作做了下分库分表的技术选型,对现有的中间件进行了一番总结。最开始想用mycat的,毕竟名气大,但查阅了文档和结构,发现下面的分库分表面对的3个问题无法解决。最后选择使用sharding-jdbc,在jdbc层面做库表关联,更底层些。年后该框架作者去了京东,有单独的团队维护。分库分表面对的3个问题: 1.事务一致性:比如更新10张表,最后一张失败,怎样保证事务。...转载 2019-12-05 17:33:43 · 947 阅读 · 0 评论 -
分库分表总结,Mycat从入门到放弃
之前调研分库分表框架,最后选择了sharding-jdbc,下面是我总结的各个框架:Atlas:不能实现分布式分表,所有的子表必须在同一台DB的同一个database里且所有的子表必须事先建好,Atlas没有自动建表的功能。Atlas参考链接Cobar:必须将拆分后的表分别放入不同的库来实现分布式。Cobar参考链接TDDL:阿里,功能强大,过于复杂,部分开源。需要评估使用情况,防止过...转载 2019-12-05 17:24:07 · 169 阅读 · 0 评论 -
大规模MySQL运维陷阱:使用MyCat踩坑篇
引子分布式数据库,已经进入了全面快速发展阶段,这种发展,是与时俱进的,与人的需求是分不开的,因为现在信息时代的高速发展,导致数据量和交易量越来越大。这种现象首先导致的就是存储瓶颈,因为MySQL数据库,实质上,还是一个单机版本的数据库,而只要是单机,就必然会遇到的一个问题就是存储问题,因为存储是硬需求,而CPU和内存如果不够的话,只是性能不好,并不会直接否定方案或者架构。存储问题的解决,其...转载 2019-11-28 17:25:15 · 1614 阅读 · 1 评论 -
数据库mysql读写分离实现方案
随着一个网站的业务不断扩展,数据不断增加,数据库的压力也会越来越大,对数据库或者SQL的基本优化可能达不到最终的效果,此时可以考虑通过添加数据库节点来使其达到提升性能的目的通常有以下常见几种方案。 读写分离 打开一个帖子内容页,需要select帖子表,和帖子评论表,每个耗时10ms的话。每秒1000次查询就是这个数据库的极限了。也就是说,这个论坛只能承载每秒500次访问。那么我们就可以...原创 2019-11-28 15:45:53 · 527 阅读 · 0 评论