分库分表ShardingSphere-JDBC笔记整理

最新推荐文章于 2024-06-22 10:04:11 发布
最新推荐文章于 2024-06-22 10:04:11 发布
阅读量203 收藏
点赞数
分类专栏： android 文章标签： 计算机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012804784/article/details/126277261
版权
本文详细介绍了数据库分库分表的现状问题、垂直与水平分库分表的区别，以及ShardingSphere-JDBC的实现方案。讨论了分片策略如Range和Hash取模，并解释了ShardingSphere-JDBC的常见概念和分片算法，如InlineShardingStrategy、StandardShardingStrategy、ComplexShardingStrategy和HintShardingStrategy。
摘要由CSDN通过智能技术生成

🚀 优质资源分享 🚀

学习路线指引（点击解锁） 知识定位 人群定位
🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。
💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统

一、分库分表解决的现状问题

  • 解决数据库本身瓶颈

    • 连接数： 连接数过多时，就会出现‘too many connections’的错误，访问量太大或者数据库设置的最大连接数太小的原因
    • Mysql默认的最大连接数为100.可以修改，而mysql服务允许的最大连接数为16384
    • 数据库分表可以解决单表海量数据的查询性能问题
    • 数据库分库可以解决单台数据库的并发访问压力问题

  • 解决系统本身IO、CPU瓶颈

    • 磁盘读写IO瓶颈，热点数据太多，尽管使用了数据库本身缓存，但是依旧有大量IO,导致sql执行速度慢
    • 网络IO瓶颈，请求的数据太多，数据传输大，网络带宽不够，链路响应时间变长
    • CPU瓶颈，尤其在基础数据量大单机复杂SQL计算，SQL语句执行占用CPU使用率高，也有扫描行数大、锁冲突、锁等待等原因
      • 可以通过 show processlist; 、show full processlist，发现 CPU 使用率比较高的SQL
      • 常见的对于查询时间长，State 列值是 Sending data，Copying to tmp table，Copying to tmp table on disk，Sorting result，Using filesort 等都是可能有性能问题SQL，清楚相关影响问题的情况可以kill掉
      • 也存在执行时间短，但是CPU占用率高的SQL，通过上面命令查询不到，这个时候最好通过执行计划分析explain进行分析

二、垂直和水平分库分表区别

  • 垂直角度（表结构不一样）
    • 垂直分表: 将一个表字段拆分多个表，每个表存储部分字段
      • 好处: 避免IO时锁表的次数，分离热点字段和非热点字段，避免大字段IO导致性能下降
      • 原则：业务经常组合查询的字段一个表；不常用字段一个表；text、blob类型字段作为附属表
    • 垂直分库：根据业务将表分类，放到不同的数据库服务器上
      • 好处：避免表之间竞争同个物理机的资源，比如CPU/内存/硬盘/网络IO
最低0.47元/天 解锁文章
u012804784
关注
专栏目录
分库分表之sharding-jdbc
zhangbingfa90的博客
11-27 1147
分库分表之sharding-jdbc 背景： 随着mysql越来越成熟以及去IOE的大势下，mysql被互联网公司运用的炉火纯青的同时，也被带进金融行业。但金融行业有其特殊属性，对数据的要求非常高，而相对轻巧mysql数据库往往需要辅助工具来解决某些严苛的使用场景。而因为mysql的轻巧等因素，导致其单机比较容易出现性能瓶颈，而成熟的oralce单机性能强悍。但是对比成熟且昂贵的oracle来说，开源免费的特性配合成熟的生态使得越来越被企业选用，但相应的运维能力要求也水涨船高。 以金融业的某银行为例，
mysql数据库分库分表shardingjdbc
maxchenBug的博客
02-22 428
mysql数据库分库分表shardingjdbc 分库分表理解　 　　分库分表应用于互联网的两个场景;大量数据和高并发，通常策略有两种：垂直分库，水平拆分 　　垂直拆分：是根据业务将一个库拆分为多个库，将一个表拆分为多个表，例如：将不常用的字段和经常访问的字段分开存放，在实际开发由于跟业务关系紧密，所以一般采用水平拆分。 　　水平拆分：则是根据分片...
分库分表—ShardingJDBC
最新发布
Eris_QwQ的博客
06-22 992
定位为轻量级 Java框架，在 Java 的 JDBC层提供的额外服务，它使用客户端直连数据库，以 jar包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC驱动，完全兼容 JDBC 和各种 ORM框架。适用于任何基于 JDBC 的 ORM框架，如：JPA、Hibernate、Mybatis、Spring JDBC Template 或是直接使用 JDBC；支持任何第三方的数据库连接池，如：DBCP、C3P0、BoneCP、HikariCP 等；
分库分表sharding-jdbc
qq_35772366的博客
08-25 309
一、为什么要分库分表
分库分表之Sharding-JDBC
长沙老码农
03-16 5894
目录 1、Sharding-JDBC概述 2、架构回顾 3、SpringBoot集成Sharding-JDBC 3.1 准备工作 3.2 配置MySQL主从复制 3.3 引入依赖坐标 3.4 application.properties配置 3.5 启动类，pojo service,dao,test 3.6 一些需要补充的概念 4、Sharding-JDBC原理 5、分库分表带来的问题 5.1 垂直分库带来的问题和解决思路 5.2 水平分库带来的问题和解决思路 5.3 我们.
使用Sharding-JDBC实现分库分表
2401_84048179的博客
04-19 971
Sharding-JDBC是当当网研发的开源分布式数据库中间件，从 3.0 开始Sharding-JDBC被包含在 Sharding-Sphere中，之后该项目进入进入Apache孵化器，4.0版本之后的版本为Apache版本。ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding- Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。
ShardingSphere分库分表教程，Java开发面试题及答案
m0_60635245的博客
03-30 817
Apache ShardingSphere是一套来源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（规划中）这三款相互独立，却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。
Sharding-Jdbc实现读写分离、分库分表，妙，2024Java面试总结
03-22 873
作为一名即将求职的程序员，面对一个可能跟近些年非常不同的 2019 年，你的就业机会和风口会出现在哪里？在这种新环境下，工作应该选择大厂还是小公司？已有几年工作经验的老兵，又应该如何保持和提升自身竞争力，转被动为主动？就目前大环境来看，跳槽成功的难度比往年高很多。一个明显的感受：今年的面试，无论一面还是二面，都很考验Java程序员的技术功底。最近我整理了一份复习用的面试题及面试高频的考点题及技术点梳理成一份“Java经典面试问题（含答案解析）.pdf和一份网上搜集的“Java程序员面试笔试真题库.pdf。
分库分表--shardingjdbc
学海无涯,我用JAVA
04-14 2986
当项目开始的时候,没有想到后续的分库分表的话,其实对于后续的分库分表操作多少会有一些较难处理的,所以一般分库分表都是在开始的时候就提前已经规划了,已经预留了口子,之后才能顺利的进行;其实也不是必须要分库分表,由于国产高性能数据库等的出现,例如 tidb,完全遵守sql92标准,其实直接换上这个也是个非常不错的选择;Sharding-JDBC定位为轻量级Java框架，在Java的JDBC层提供的额外服务。
分布式数据库-分库分表01-ShardingJDBC
LC的博客
12-30 1143
1.MYSQL分库分表的原理 为什么要分库分表 一般的机器（4核16G），单库的MySQL并发（QPS+TPS）超过了2k，系统基本就完蛋了。最好是并发量控制在1k左右。这里就引出一个问题，为什么要分库分表？ 1、高并发情况下，会造成IO读写频繁，自然就会造成读写缓慢，甚至是宕机。一般单库不要超过2k并发，NB的机器除外。 2、数据量大的问题。主要由于底层索引实现导致，MySQL的索引实现为B+TREE，数据量其他，会导致索引树十分庞大，造成查询缓慢。第二，innodb的最大存储限制64TB 分库分表目
后端开发: 数据库分库分表sharding-jdbc
wzj_whut的专栏
02-17 495
文章目录原理和开源库使用方法准备工具maven依赖配置DataSource配置分库配置分表完整的源代码 demo源码 https://github.com/wzjwhut/spring-jdbc-sharding 原理和开源库 原理: 通过解析sql语句, 根据分库分表的规则，替换掉表名和库名 文档资料 https://shardingsphere.apache.org/document/curr...
分库分表，Sharding-JDBC水平分表
weixin_40598838的博客
07-08 210
随着数据量的增大，就可能会达到性能瓶颈，比如千万数据，增删改都很慢，这时候就需要考虑分库分表了了解一下水平分表，数据库、表不变，创建相同结构的数据库 称为水平分库 创建相同结构的表 称为水平分表...
数据分片（分库分表）sharding-jdbc
xinkailei3的博客
10-15 207
1、什么时候要进行分库分表 引用《阿里巴巴Java开发手册》 2、分库分表概念 2.1 垂直分库： 垂直拆分的原则一般是按照业务类型来拆分，核心思想是专库专用，将业务耦合度比较高的表拆分到单独的库中。举个形象的例子就是在整理衣服的时候，将羽绒服、毛衣、T 恤分别放在不同的格子里。这样可以解决我在开篇提到的第三个问题：把不同的业务的数据分拆到不同的数据库节点上，这样一旦数据库发生故障时只会影响到某一个模块的功能，不会影响到整体功能，从而实现了数据层面的故障隔离。 2.2 水平分库： 水平分库主要是解决库中数
Sharding-JDBC 分库分表
AkiraNicky的博客
08-01 8823
一. 初识Sharding-JDBC 1. Sharding-JDBC是什么？ Sharding-JDBC提供标准化的数据分片、分布式事务和数据库治理功能，定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 适用于任何基于Java的ORM框...
Sharding-jdbc分库分表
Lyzxii
07-30 5995
引入 不断增长的业务数据会对MySQL数据库的存储和访问造成极大的性能影响，由于单台服务器的资源（CPU、磁盘、内存等）总是有限的，所以单台数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。不论是获取连接还是插入或查询都会有极大的性能问题。 MySQL大数据量造成的性能瓶颈解决方案： 从SQL入手 加入索引 -> 缓存 -> 主从复制/读写分离 使用缓存，减少对数据库的同步访问 减少MySQL使用，可以使用HBase、polarDB、TiDB等分布式存储，ES查询 分库分表 拓展
分库分表以及Sharding-Jdbc总结(一)
大鸡腿的博客
06-18 2829
目录 前言 分库分表 现成分库分表框架 Sharding-JDBC 简介 架构图 个人看法 概念 数据源 分片键 注意要点 分片策略 pom.xml 项目 运行输出 个人思考 数据拆分的方式 个人总结 1.取模 2.范围方案 文中总结 分布式id 应用 资料 Springboot整合Sharding-Jdbc pom.xml 配置 Ma...
springboot引入shardingsphere-jdbc-core实现分库分表
04-01
1. 引入依赖 在 `pom.xml` 中引入 `shardingsphere-jdbc-core` 依赖： ```xml <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>shardingsphere-jdbc-core</artifactId> <version>5.0.0-alpha</version> </dependency> ``` 2. 配置数据源 在 `application.yml` 中配置数据源： ```yaml spring: datasource: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2B8 username: root password: root sharding: jdbc: # 数据源列表 datasource: ds0: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3306/test0?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2B8 username: root password: root ds1: type: com.zaxxer.hikari.HikariDataSource driver-class-name: com.mysql.jdbc.Driver jdbc-url: jdbc:mysql://localhost:3306/test1?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2B8 username: root password: root # 分片规则配置 sharding: default-data-source: ds0 # 默认数据源 tables: user: actual-data-nodes: ds${0..1}.user_${0..1} # 实际数据节点 database-strategy: inline: sharding-column: id # 分片键 algorithm-expression: ds${id % 2} # 分库算法 table-strategy: inline: sharding-column: id # 分片键 algorithm-expression: user_${id % 2} # 分表算法 ``` 3. 编写代码 ```java @Service public class UserServiceImpl implements UserService { @Autowired private JdbcTemplate jdbcTemplate; @Override public void addUser(User user) { String sql = "INSERT INTO user (id, name) VALUES (?, ?)"; Object[] params = new Object[] { user.getId(), user.getName() }; int count = jdbcTemplate.update(sql, params); System.out.println("插入 " + count + " 条记录"); } @Override public List<User> getUsers() { String sql = "SELECT * FROM user"; return jdbcTemplate.query(sql, new BeanPropertyRowMapper<>(User.class)); } } ``` 4. 测试 编写测试方法： ```java @SpringBootTest class UserServiceImplTest { @Autowired private UserService userService; @Test void addUser() { User user = new User(); user.setId(1L); user.setName("张三"); userService.addUser(user); } @Test void getUsers() { List<User> users = userService.getUsers(); System.out.println(users); } } ``` 执行测试方法，查看控制台输出和数据库表中的数据，验证分库分表是否成功实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值