shardingsphere5.1.1实现上亿数据分表

最新推荐文章于 2024-08-08 14:51:37 发布
最新推荐文章于 2024-08-08 14:51:37 发布
阅读量680 收藏
点赞数
分类专栏： Java中高级工程师面试热点知识 关系型数据库mysql 文章标签： java 数据库 spring
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZhiguoXue_IT/article/details/125252231
版权
本文介绍了如何利用Apache ShardingSphere的5.1.1版本实现上亿数据的分表操作。ShardingSphere作为一个数据库中间件，提供了数据分片、分布式事务和治理功能。在SpringBoot 2.2.2.RELEASE环境下，针对数据库demo_ds_master，创建了4张相同结构的分表user_0至user_15，并给出了相应的配置信息。
摘要由CSDN通过智能技术生成

shardingsphere

技术原理

1）Apache ShardingSphere是一个开源生态系统，由一组分布式数据库中间件解决方案组成，
2）Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3种独立产品。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。
3）ShardingSphere定义自己为中间件，而不是全新的数据库。作为许多企业的基石，关系数据库仍然占据着巨大的市场份额。

一环境

shardingsphere版本：5.1.1
springboot版本：2.2.2.RELEASE
数据库：demo_ds_master
4张表，表结构一摸一样：user_0,user_1,user_2,user_3…user_15
以下为user表的表结构，修改表名，为user_0,user_1,user_2,user_3…user_15然后在数据库中执行即可。

二依赖

了解本专栏 订阅专栏 解锁全文 超级会员免费看
ZhiguoXue_IT
关注
专栏目录
订阅专栏
ShardingSphere 5.x 系列【9】垂直分库
记录知识、锤炼自我
02-19 136
垂直分库是进行分库分表的第一步，一方面各业务专注于自己的库，解决了一定的耦合。另一方面某种程度上分摊了单机数据库的压力，提升了一定的性能。但是没有解决单表数据量过大的问题，也引入了分布式事务、跨库查询等问题。
ShardingSphere-JDBC 5.1.1分表分库应用
bldstc2011的博客
05-28 431
官方文档概览 :: ShardingSphere springboot方式 引入依赖 <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId> <version>5.1.1</version>.
ShardingSphere-JDBC 5.1.1 分库分表
persistence_PSH的博客
06-24 1620
它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。mysql并不能完全利用高性能服务器的硬件，当cpu超过24个，内存超过128G时，mysql性能处于平缓，不在上升，所以在一个性能强大的服务器上运行多个实例，才更合理。如果按照id查询，也就是分片的键，能够精确定位数据所在的分片，避免很多不必要的查询，所以分片的键要谨慎选择。订单表和订单详情表，使用相同的分库分表策略，保证相关的数据在一个库中，避免跨库的关联查询。
【经验总结】ShardingSphere5.2.1 + Springboot 分库分表 快速开始
最新发布
Xcong_Zhu的博客
08-08 900
Apache ShardingSphere （本文后续简称“SS”）是一款分布式的数据库生态系统， 可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。它站在数据库的上层视角，关注它们之间的协作多于数据库自身。ShardingSphere-JDBC 定位为。
Sharding Sphere 解决大数据存储
u012222011的博客
02-22 1311
1. 什么是分库分表 分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据 库拆分成若干数据库组成，将数据大表拆分成若干数据表组成，使得单一数据库、单一数 据表的数据量变小，从而达到提升数据库性能的目的 2.水平分表 有5000万数据要入库，根据阿里巴巴规范，一张表最多存500万数据，现在有5000万数据，所以先建立20张同样的表，每张表入库大约250万数据，用sharding sphere来分表 配置如下： # shardingjdbc分片策略 # 配置数据源，给.
mysql订单表上亿怎么分表_[转]单表上亿的数据量如何分表
weixin_39788131的博客
01-27 556
之前的几篇关于分表的，提到的分表策略不够详细，我在这篇中补充一些分表策略吧：按号段分：(1) user_id为区分，1～1000的对应table1，1001～2000的对应table2，以此类推，或者以id最后两位数字为区分，分到table00-table99表中；优点：可部分迁移缺点：数据分布不均(2)hash取模分：对user_id进行hash(或者如果user_id是数值型的话直接使用use...
shardingsphere按年月分表
qq_39543482的博客
08-12 2509
第一步：引入依赖文件 <!--当当网分库分表--> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>4.0.0-RC1&l
ShardingJDBC5.1.1按月分库分表、读写分离、自动创表完整demo
06-17
《使用ShardingJDBC5.1.1实现按月分库分表、读写分离与自动创表的全面实战》 在现代企业级应用中，数据量的快速增长使得数据库的性能优化成为至关重要的环节。ShardingJDBC作为一款轻量级的Java框架，能够有效地...
SpringBoot+Mybatis-Plus整合Sharding-JDBC5.1.1实现分库分表
BUG指挥课堂
06-06 1195
SpringBoot+Mybatis-Plus整合Sharding-JDBC4.0.0实现单库分表
SpringBoot+Mybatis-Plus整合Sharding-JDBC5.1.1实现单库分表【全网最新】.doc
07-09
### SpringBoot+Mybatis-Plus 整合 Sharding-JDBC5.1.1 实现单库分表 #### 一、前言与背景 在现代软件开发中，随着业务量的增长，单一数据库往往难以满足高性能、高并发的需求，因此分库分表成为了一种常见的解决...
ShardingSphere解决海量数据分库分表
架构师小秘圈
06-14 308
互联网高速发展，同时也带来的海量数据存储问题。传统关系型数据库的单库单表已经很难支撑，如何高效存储和访问这些数据，成为业内急需解决的问题。解决思路有两个方向：NoSQL数据库，非关系型数据...
Springboot整合ShardingSphere-JDBC-5.1.1版本实现分库分表的标准自定义策略定制
肌肉金轮的博客
02-06 4297
ShardingSphere-JDBC分库分表 分库分表策略： standard标准分片策略
ShardingSphere 异构迁移最佳实践：将3.5亿量级的顾客系统 RTO 减少60倍
ShardingSphere官微
06-02 311
Apache ShardingSphere 助力当当 3.5 亿用户量级顾客系统重构，由 PHP+SQL Server 技术栈无缝转型为 Java+ShardingSphere+MySQL，性能、可用性及维护性均得到显著提升，是 ShardingSphere 异构迁移最佳实践。1顾客系统背景当当顾客系统主要负责账户的注册、登录、隐私数据维护等功能，历史技术栈为 PHP+S......
持久层和数据访问层_使用Radon构建MySQL统一数据访问层
weixin_39607450的博客
12-05 254
作者：吴炳锡 知数堂联合创始人及MySQL高级讲师，3306π社区联合创始人，腾讯TVP成员。本文导读整体结构Radon中配置了解Radon中表的分类不同类的SQL在Radon针对不同表的拆分路由情况基于RadonDB Schema实现及最佳建议RadonDB SQL限制 总结全文7200字，阅读时间大概20分钟。这篇也可以说是：RadonDB使用最佳建议，从原理上了解Rad...
MySQL5.6 (5.7-8) 基于shardingsphere5.1.1 Sharding-Proxy模式读写分离
h952520296的博客
06-20 738
本文基于mysql5.6 ，实际测试中mysql5.7 ，8 配置一致 ，可以通用首先搭建mysql主从，主从由mysql自己管理，这个就不赘述了。。下载 ShardingSphere-Proxy 官网地址 http://shardingsphere.apache.org/index_zh.html 下载跳转 https://shardingsphere.apache.org/document/current/cn/downloads/ 下载MySQL驱动依赖 5版本: https://repo1.mave
整合sharding-jdbc 5.1.1实现读写分离、日期分表
954L
08-10 1822
*** 精准匹配* @return// 根据当前日期 来 分库分表 LocalDateTime date = preciseShardingValue . getValue();// 表名后面加上当前年份 String tbName = preciseShardingValue . getLogicTableName() + "_" + date . getYear();// 找到对应表名 if(each . equals(tbName)) return each;......
shardingsphere实现分表
u010772230的专栏
01-03 1574
实验环境 springboot版本：2.2.2.RELEASE shardingsphere版本：4.0.0-RC3 实验说明： 数据库：demo_ds_master 4张表，表结构一摸一样：user_0,user_1,user_2,user_3 以下为user表的表结构，修改表名，为user_0,user_1,user_2,user_3然后在数据库中执行即可。 CREATE TA...
性能优化之数据库篇5-分库分表与数据迁移
null_10086的博客
07-29 862
一、数据库拆分夏菡小说网 https://www.2912.info 1. 为什么要做数据库拆分 单机数据库存在的问题？ 从容量、性能、可用性和运维成本上难以满足海量数据的场景。 性能方面，数据量超过一定阈值，B+树索引慎独增加导致磁盘访问的IO次数增加，进而导致查询性能的下降。 容量方面，单机能存储的数据量有限 可用性方面，大量的查询落到单一的数据库节点或者简单的主从架构上，数据库很难承担。 运维方面，数据量达到一定阈值，主从同步延迟高、增加字段索引、备份这些都会很慢，影响业务系统。 主从结构解决了高可.
ShardingSphere实战：MySQL分库分表解析与应用
此外，ShardingSphere的JDBC和Proxy模式可以在不修改应用代码的情况下实现分库分表，降低改造成本。 ShardingSphere作为分布式数据库解决方案，可以帮助应对大规模数据和高并发场景，但同时也需要权衡其带来的系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhiguoXue_IT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值