![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分库分表
文章平均质量分 84
TizzyGoodhealth
反派角色
展开
-
分库分表实战及中间件(五)
分库分表实战及中间件(四)数据脱敏剖析数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。涉及客户安全数据或者一些商业性敏感数据,如身份证号、手机号、卡号、客户号等个人信息按照规定,都需要进行数据脱敏。数据脱敏模块属于ShardingSphere分布式治理这一核心功能下的子功能模块。在更新操作时,它通过对用户输入的SQL进行解析,并依据用户提供的脱敏配置对SQL进行改写,从而实现对原文数据进行加密,并将密文数据存储到底层数据库。在查询数据时,它又从数据库中取出密文数据原创 2021-04-13 22:59:59 · 195 阅读 · 1 评论 -
分库分表实战及中间件(三)
分库分表实战及中间件(三)前言sharding中也支持读写分离,读写分离可以极大的提高提升系统的吞吐量和可用性,但同时也带来了数据不一致的问题,包括多个主库之间的数据一致性,以及主库与从库之间的数据一致性的问题。 并且,读写分离也带来了与数据分片同样的问题,它同样会使得应用开发和运维人员对数据库的操作和运维变得更加复杂。读写分离在数据量不是很多的情况下,我们可以将数据库进行读写分离,以应对高并发的需求,通过水平扩展从库,来缓解查询的压力。分表+读写分离如果在读写分离的基础上,数据量还是很大,原创 2021-04-10 23:39:46 · 221 阅读 · 1 评论 -
分库分表实战及中间件(四)
分库分表实战及中间件(三)在一些应用场景中,分片条件并不存在于SQL,而存在于外部业务逻辑。因此需要提供一种通过在外部业务代码中指定路由配置的一种方式,在ShardingSphere中叫做Hint。如果使用Hint指定了强制分片路由,那么SQL将会无视原有的分片逻辑,直接路由至指定的数据节点操作。Hint使用场景数据分片操作,如果分片键没有在SQL或数据表中,而是在业务逻辑代码中读写分离操作,如果强制在主库进行某些数据操作在读写分离结构中,为了避免主从同步数据延迟及时获取刚添加或更新原创 2021-04-10 23:20:58 · 267 阅读 · 0 评论 -
分库分表实战及中间件(二)
分库分表实战及中间件(二)前言分库分表实战及中间件(一)中我们使用了在代码中使用硬编码的方式手动定义路由规则以及获取不同表进行分表设计。原创 2021-03-30 23:52:14 · 497 阅读 · 2 评论 -
分库分表实战及中间件(一)
分库分表实战及中间件背景描述在项目中,目前使用单库单个mysql去存储数据,其中我们某个表的数据量目前是3000w 、某个表由于客户一些创建的数据几乎每天增量数据是几十万,而且每个客户相对对应的数据增量也不仅相同。考虑到之后到某个节点时间数据可能会达到上限1个亿。我们都知道mysql单表查询效率最好的情况数据量是3000w-5000w左右。如果增量再多,单表的查询效率会变慢。对此我们需要将其分开存储,也就是需要考虑分库分表的时候了。那我们如何进行分库分表操作呢?为什么要分表上面也说了,由于单表的原创 2021-03-21 23:36:52 · 1190 阅读 · 0 评论