java bcc_Java

ORM框架分库分表已实现了 只分表(根据指定字段) 点我查看demo 只分库(根据指定字段) 点我查看demo 既分库又分表(根据相同的字段) 点我查看demo 上面几点之前我在博客中已经写了使用介绍，点我查看 最近我完善了分库分表功能： 分库和分表可以指定不同的字段 首先看下配置上是如何配置的 在 ...

»

网上有很多介绍分库分表的文章，方法很多： 分区表切分 垂直切分 水平切分 区间切分 取模切分 这里不细说 分库分表简单，但后期会带来一系列的难题： 事务 Join 分页 数据库： master和slave是一个主从架构 imagespider_db：[ImageSpider]项目采集回来的数据，不需 ...

»

bccber

go

2020-10-03

本文基于JDK-8u261源码分析 1 简介 ​ArrayList作为最基础的集合类，其底层是使用一个动态数组来实现的，这里“动态”的意思是可以动态扩容(虽然ArrayList可以动态扩容，但却不会动态缩容)。但是与HashMap不同的是，ArrayList使用的是1.5的扩容策略，而HashMa ...

»

前言 我们的分库分表中间件在线上运行了两年多，到目前为止还算稳定。在笔者将精力放在处理各种灾难性事件(例如中间件物理机宕机/数据库宕机/网络隔离等突发事件)时。竟然发现还有一些奇怪的corner case。现在就将排查思路写成文章分享出来。 Bug现场 应用拓扑 应用通过中间件连后端多个数据库,sq ...

»

解Bug之路-记一次存储故障的排查过程 高可用真是一丝细节都不得马虎。平时跑的好好的系统，在相应硬件出现故障时就会引发出潜在的Bug。偏偏这些故障在应用层的表现稀奇古怪，很难让人联想到是硬件出了问题，特别是偶发性出现的问题更难排查。今天，笔者就给大家带来一个存储偶发性故障的排查过程。 Bug现场 我 ...

»

LnskyDB是基于Dapper的Lambda扩展,支持按时间分库分表,也可以自定义分库分表方法.而且可以T4生成实体类免去手写实体类的烦恼. v2.0版本支持多表查询了 ...

»

liningit

C#

2019-07-09

web开发整体架构设计，优化提速。 通过前后端分离+系统拆分：独立部署，提高系统的可使用性，提高资源的使用效率 通过多级缓存+消息队列：提高系统相应时间、系统的吞吐量、并发数 数据库读写分离+主从备份，纵向分表+横向分区存储：提高数据库的处理效率，和降低处理压力。 ...

»

xiaoXuZhi

2019-06-28

LnskyDB " " " " LnskyDB是基于Dapper的Lambda扩展,支持按时间分库分表,也可以自定义分库分表方法.而且可以T4生成实体类免去手写实体类的烦恼. 文档地址: https://liningit.github.io/LnskyDB/ 开源地址: https://github ...

»

liningit

C#

2019-06-20

本篇是上一篇《一次分表踩坑实践的探讨》，所以还没看过的朋友建议先看上文。 还是先来简单回顾下上次提到了哪些内容： 分表策略：哈希、时间归档等。 分表字段的选择。 数据迁移方案。 ...

»

为什么要多域部署？ 从稳定性上：当业务不断发展后，会面临系统稳定性、容灾、业务隔离等多种问题 从业务需求上：国际化应用往往需要全球化部署 数据库的面临的问题 多域部署时，往往会伴随着数据的迁移、双写等问题 数据如何同步？分库分表场景下如何生成全局唯一id？ 我们的场景是什么？ 我们目前在单元A(中心 ...

»

最近有一个项目，其中某个功能单表数据在可预估的未来达到了亿级，初步估算在90亿左右。与同事详细讨论后，决定采用一致性Hash算法来完成数据库的自动扩容和数据迁移。整个程序细节由我同事完成，我只是将其理解并成文，供有相同问题的同行参考。 参看此文的兄弟，默认各位已经熟悉一致性hash算法了。此文仅仅阐 ...

»

zer0Black

2018-09-17

Sharding-Sphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar这3款相互独立的产品组成。该篇通过编写demo代码体验如何根据行表达式实现数据节点配置和数据分片配置以及各种场景下的查询，还... ...

»

微服务，不仅能够降低业务复杂度、开发团队管理难度，而且由于微服务的特性，使得部署软件的资源能更合理高效的应用，降低资源成本。软件并发量逐渐提高，不管是三层架构、还是微服务，优化的途径都差不多，读写分离-》加缓存-》分库分表。上方所示图2到图3，展示了利用一些数据访问中间件(Sharding-JDBC... ...

»

DKSL

2018-06-25

一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库分布式核心 ...

»