ShardingSphere生产实战

已于 2022-11-21 21:13:13 修改
阅读量2.8k 收藏 2
点赞数 2
文章标签： 数据库 java mysql
于 2022-11-21 21:00:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011385940/article/details/127972468
版权

ShardingSphere生产实战

由于业务发展，数据库中某几张核心表未来半年单表数据能达到20亿左右。也因为外部的因素，只能用mysql来存储数据。所以考虑分库分表，最终选型为ShardingSphere。

方案选型可见文章：Mysql大数据量解决方案

考虑拆分后数据不会绝对均匀，按前期每表存400万来算，大约需512张表。8个库，那每库有64张表。团队采用的单分片键，按什么分片可自行约定，比如按地区，按业务标识等。

配置的分片策略为：

  • 库：sharding_column % 8

  • 表：sharding_column / 8 % 64

本地用了两个版本测试，线上用的是5.2.0版本。

ShardingSphere 5.0.0-alpha

5.0.0-alpha 和 5.2.0配置文件有差异。

配置文件中common项可以配置数据源的公共配置。5.2.0版本公共项只能在每个数据源下都配置一遍。

maven版本：

<shardingsphere-starter.version>5.0.0-alpha</shardingsphere-starter.version>

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
    <version>${shardingsphere-starter.version}</version>
</dependency>
            
<!-- druid -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.1.22</version>
</dependency>

application.yml:

spring:
  shardingsphere:
    datasource:
      common:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        initial-size: 6
        maxActive: 20
        # 配置获取连接等待超时的时间
        maxWait: 60000
        # 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒
        timeBetweenEvictionRunsMillis: 60000
        # 配置一个连接在池中最小生存的时间，单位是毫秒
        minEvictableIdleTimeMillis: 300000
        #Oracle需要打开注释
        #validationQuery: SELECT 1 FROM DUAL
        testWhileIdle: true
        testOnBorrow: false
        testOnReturn: false
        # 打开PSCache，并且指定每个连接上PSCache的大小
        poolPreparedStatements: true
        maxPoolPreparedStatementPerConnectionSize: 20
        # 配置监控统计拦截的filters，去掉后监控界面sql无法统计，'wall'用于防火墙
        filters: stat,wall,slf4j
        # 通过connectProperties属性来打开mergeSql功能；慢SQL记录
        connectionProperties: druid.stat.mergeSql\=true;druid.stat.slowSqlMillis\=5000
        wall:
          multi-statement-allow: true
      names: ds0, ds_1, ds_2, ds_3, ds4, ds_5, ds_6, ds_7
      ds0:
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://127.0.0.1/test?autoReconnect=true&useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8
        username: root
        password: root
      ds1:
        ......
      省略
    rules:
      sharding:
        tables:
          # 逻辑表名
          t_record:
            actualDataNodes: ds_$->{0..7}.t_record_$->{0..63}
            # 配置表分片策略
            tableStrategy:
              standard:
                shardingColumn: record_id
                shardingAlgorithmName: t-record-inline
            keyGenerateStrategy:
              column: id
              keyGeneratorName: snowflake
        defaultShardingColumn: record_id
        #绑定表
        bindingTables:
          - t_record
        defaultTableStrategy:
          none:
        defaultDatabaseStrategy:
          standard:
            shardingColumn: record_id
            shardingAlgorithmName: database-inline
        #分片算法配置
        sharding-algorithms:
          t-record-inline:
            type: INLINE
            props:
              algorithm-expression: t_record_$->{record_id.intdiv(8) % 64}
          database-inline:
            type: INLINE
            props:
              algorithm-expression: ds_$->{record_id % 8}
        default-key-generate-strategy:
          column: id
          key-generator-name: snowflake
        key-generators:
          snowflake:
            type: SNOWFLAKE
            props:
              worker-id: 123
    props:
      sql-show: true

配置Druid监控代码：

@Configuration
public class DruidConfig {

    @Bean
    public ServletRegistrationBean statViewServlet() {
        ServletRegistrationBean bean = new ServletRegistrationBean(new StatViewServlet(), "/druid/*");
        Map<String, String> initParams = new HashMap<>();
        initParams.put("loginUsername", "root");
        initParams.put("loginPassword", "root");
        //initParams.put("", true);
        //默认就是允许所有访问
        initParams.put("allow", "127.0.0.1");
        //黑名单IP
        initParams.put("deny", "192.168.1.1");
        bean.setInitParameters(initParams);
        return bean;
    }

    @Bean
    public FilterRegistrationBean webStatFilter() {
        WebStatFilter webStatFilter = new WebStatFilter();

        FilterRegistrationBean<WebStatFilter> filterRegistrationBean = new FilterRegistrationBean<>(webStatFilter);
        filterRegistrationBean.setUrlPatterns(Arrays.asList("/*"));
        filterRegistrationBean.addInitParameter("exclusions", "*.js,*.gif,*.jpg,*.png,*.css,*.ico,/druid/*");

        return filterRegistrationBean;
    }
}

ShardingSphere 5.2.0线上配置

maven版本：

<shardingsphere-starter.version>5.2.0</shardingsphere-starter.version>
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
    <version>${shardingsphere-starter.version}</version>
</dependency>
            
<!-- druid -->
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid</artifactId>
    <version>1.1.18</version>
</dependency>

application.yml:

spring:
  shardingsphere:
    datasource:
      names: ds0, ds_1, ds_2, ds_3, ds4, ds_5, ds_6, ds_7
      ds_0:
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://127.0.0.1/prod?autoReconnect=true&useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8
        username: root
        password: root
        maxWait: 60000
        maxActive: 100
        validationQuery: SELECT 1
        testWhileIdle: true
        testOnBorrow: true
        timeBetweenEvictionRunsMillis: 300000
        minEvictableIdleTimeMillis: 3600000
        useUnfairLock: true
      ds_1:
        ......
      省略
    rules:
      sharding:
        tables:
          # 逻辑表名
          t_record:
            actualDataNodes: ds_${0..7}.t_record_${0..63}
            # 配置表分片策略
            tableStrategy:
              standard:
                shardingColumn: record_id
                shardingAlgorithmName: t-record-inline
            keyGenerateStrategy:
              column: id
              keyGeneratorName: UUID
        defaultShardingColumn: record_id
        #绑定表
        bindingTables:
          - t_record
        defaultTableStrategy:
          none:
        defaultDatabaseStrategy:
          standard:
            shardingColumn: record_id
            shardingAlgorithmName: database-inline
        #分片算法配置
        sharding-algorithms:
          t-record-inline:
            type: INLINE
            props:
              algorithm-expression: t_record_${record_id.intdiv(8) % 64}
          database-inline:
            type: INLINE
            props:
              algorithm-expression: ds_${record_id % 8}
        default-key-generate-strategy:
          column: id
          key-generator-name: UUID
        key-generators:
          UUID:
            type: UUID

    props:
      sql-show: false

Groovy中相除结果为浮点数

record_id/8有时会出现0.5的结果，则表名为t_record_0.5，会报错。

原因是Groovy不提供专用的整数除法运算符符号，需将表达式中 record_id/8 修改为 record_id.intdiv(8)

在application.yml 下加入Druid监控配置会报错

spring:
  shardingsphere:
    datasource:
      names: ds0, ds_1, ds_2, ds_3, ds4, ds_5, ds_6, ds_7
      ds_0:
        filters: stat

可见github上issues：https://github.com/apache/shardingsphere/issues/21211

报错
Caused by: org.yaml.snakeyaml.constructor.ConstructorException: Can't construct a java object for tag:yaml.org,2002:com.alibaba.druid.filter.stat.StatFilter; exception=Class is not accepted: com.alibaba.druid.filter.stat.StatFilter
 in 'string', line 76, column 5:
      - !!com.alibaba.druid.filter.stat. ... 

5.2.0自动审计配置不生效，配置审计是为了拦截没有走分片键的sql，避免全路由。

排查后是因为 ShardingSphereAutoConfiguration 自动配置没有把审计的实现类注入。于是乎本地手动注入，具体实现为配置一个后置处理器BeanPostProcessor 即可。

具体案例可参考之前文章：策略模式、模板模式实战

@Override
public Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {
    
    //加载审计配置，ShardingRuleSpringBootConfiguration自动配置类未加载，所以手动加载
    if (bean instanceof AlgorithmProvidedShardingRuleConfiguration) {
        PropertySource source = ((ConfigurableEnvironment) environment).getPropertySources().get("applicationConfig: [classpath:/application.yml]");
        Object val = source.getProperty("spring.shardingsphere.rules.sharding.auditors.sharding_key_required_auditor.type");
        //简单实现
        if (val != null) {
            Map<String, ShardingAuditAlgorithm> auditors = new LinkedHashMap<>();
            auditors.put("sharding-key-required-auditor", new DMLShardingConditionsShardingAuditAlgorithm());
            ((AlgorithmProvidedShardingRuleConfiguration) bean).setAuditors(auditors);
        }
    }
    return bean;
}

5.2.0版本测试问题

  • 5.2.0版本中配置ShardingSphere主键生成策略不生效，与MybatisPlus主键生成策略冲突，猜测原因是5.2.0版本问题。

所以代码中主键生成用MybatispPlus内置的雪花算法实现。

  • 除了分片表之外，ShardingSphere连接的数据源中，不能有重复的表。ShardingSphere启动时，会把对应的数据源和表的映射关系放在Map中，如果重复，则一个表会对应多个数据源。表关联会报错（必须指定相同的数据源）。

  • 分片表和普通表可以join查询，但必须指定相同的数据源。

  • ShardingSphere支持跨库事务更新，如果是代码逻辑异常则会回滚。

阿飞技术
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
分库分表一：ShardingSphere介绍和入门实战
admin522043032的博客
09-14 2370
​ShardingSphere是一款起源于当当网内部的应用框架。在2017年开始开源。并逐渐由原本只关注于关系型数据库增强工具的ShardingJDBC升级成为一整套以数据分片为基础的数据生态圈，更名为ShardingSphere。到2020年4月，已经成为了Apache软件基金会的顶级项目。ShardingSphere包含三个重要的产品，ShardingJDBC、ShardingProxy和ShardingSidecar。
ShardingSphere 加密列模糊查询原理与实战
ShardingSphere官微
12-26 2773
文章示例演示了模糊查询列在不同 SQL 语法中是如何改写 SQL 支持模糊查询的。本文详细介绍了模糊查询的基本实现原理以及具体的使用示例。
[后端]springboot整合shardingSphere-JDBC分库分表
最新发布
weixin_42055932的博客
04-21 527
在上面我们发现，不同的表中，生成的id会有重复，这对于分布式不是很好，我们选用shardingSphere中的雪花id策略，来让每个表中的id不重复且是递增的。运行selectOrderAll方法，我们发现，shardingSphere自动帮我们连表，然后再返回数据。进入容器server0和server1,这里以server0为例，server1是一样的步骤。运行完查看日志，发现shardingSphere帮我们生成了id。运行save方法，可以看到，两个库的两张表都插入了两条数据。
sharding sphere 4.1.1 - key生成器
~~简~~
03-16 573
内置有两种：UUID、SNOWFLAKE . /** */ @Slf4j public class KeyGeneratorTest { /** * @see org.apache.shardingsphere.core.rule.TableRule#TableRule */ public static void main(String[] args) throws Exception { testGenerateKey("UUID");
一篇搞定ShardingSphere-jdbc 实战
ma_nong33的博客
03-01 550
然后在开始历史数据全量同步，当历史全量数据同步完成后，在开启消费 kafka 消息进行增量数据同步（提高全量同步效率减少积压也是关键的一环），这样来保证迁移数据过程中的数据一致。需要注意的是：业务中是否有使用数据库自增 ID 做为业务 ID 使用的，如果有需要业务先进行改造。首先将 [0-1023] 平均分为4个区段：[0-255]，[256-511]，[512-767]，[768-1023]，然后对字符串（或子串，由用户自定义）做 hash， hash 结果对 1024 取模，最终得出的结果。
ShardingSphere 5.0.0 实现按月水平分表
ligang_ant的博客
06-21 6731
shardingsphere按月水平分表
SpringBoot + ShardingSphere分库分表实战(附完整代码)
04-11
Spring Boot ShardingSphere 分库分表 附代码
ShardingSphere实战场景&与Atlas和Mycat对比(1)预习1
08-03
引入依赖如果后端连接MySQL数据库，需要手动下载mysql驱动jar包，并将将mysql-connector-java-${version}.jar拷贝到${
shardingsphere
06-27
shardingsphere-proxy
ShardingSphere 集成 CosId 实战.doc
07-09
ShardingSphere 集成 CosId 实战.doc
ShardingSphere 5.1.2 版源码
08-09
ShardingSphere 5.1.2 版源码
【Mysql调优】7、Sharding Sphere 实战
qq_45473962的博客
09-18 691
【Mysql调优】7、Sharding Sphere 分库分表、读写分离、MySQL主从数据同步
ShardingSphere-JDBC整合druid配置数据源
热门推荐
zwjzone的博客
04-24 1万+
ShardingSphere-jdbc整合druid开启监控
SpringBoot集成ShardingSphere（自动配置）
hyc2zbj的专栏
06-28 9346
接上一篇，介绍下SpringBoot集成ShardingSphere，基于sharding-jdbc-spring-boot-starter依赖编写配置文件实现自动配置的集成方法，这种方法的优点是简单，缺点是不够灵活。 新建项目并导入依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a...
Sharding-Proxy分库分表和数据加密
闫玉林的博客
04-08 2400
文章目录Sharding-Proxy分库分表和数据加密使用场景配置文件讲解server.yamlconfig-encrypt.yamlconfig-sharding.yaml其他使用情况总结 Sharding-Proxy分库分表和数据加密 主要将实际项目中使用shardingshpere-proxy的经历经验，总结分享一下。 使用场景 公司规划研发了两款针对政务新媒体和数字乡村的SaaS平台，作为新的利润增长点。考虑到以后的用户数量和数据数量，决定按照租户（签约客户）进行分库分表。对于一些敏感数据，例如身
sharding-jdbc配置分析Configuration
08-30 4925
Sharding核心配置主要如下（官网）： 分片规则 分片规则配置的总入口。包含数据源配置、表配置、绑定表配置以及读写分离配置等 数据源配置 真实数据源列表 表配置 逻辑表名称、数据节点与分表规则的配置 数据节点配置 用于配置逻辑表与真实表的映射关系。可分为均匀...
SpringBoot + ShardingSphere实现读写分离，分库分表
汉南最後の読書人
11-26 3499
分布式项目在通过一定的服务拆分，项目运行一段时间以后，随着用户和使用资源的不断增大，数据库的性能也会面临瓶颈。单表数据量过大，超高并发的读写引发的锁问题，导致系统运行加载越来越慢，不时出现系统假死的现象，数据库的优化已将近极限，几乎没有空间，这时就需要考虑读写分离，分库分表（这里主要是水平的分库分表）的策略，来减少对同一数据库的访问的压力。 一.操作的工程目录 二.读写分离 application.yml ​ spring: shardingsphere: data.
shardingsphere+druid 报错roperty ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are required
weixin_43694549的博客
06-27 660
如果使用 druid数据源,依赖需要使用 druid ,而不是druid-spring-boot-starter。解决二：更换sharding-jdbc版本。
ShardingSphere踩坑合集（一）
weixin_44654147的博客
06-28 1万+
前言 最近在工作中使用ShardingSphere实现mysql数据分表，在此记录一下遇到的一些坑。 ShardingSphere简介 Apache ShardingSphere 是一套开源的分布式数据 库解决方案组成的生态圈，提供标准化的数据水平扩展、分布式事务和分布式治理等功能。 更新分片字段问题 本次使用Sharding-JDBC，并只分表，不分库（避开了跨库导致的分布式事务问题，当然ShardingSphere也支持XA、Seata等分布式事务）。 当执行更新分片字段的update语句时，报错如下
ShardingSphere
11-30
ShardingSphere是一个开源的分布式数据库中间件解决方案，它提供了分库分表、读写分离、分布式事务等功能，支持MySQL、Oracle、SQLServer等多种关系型数据库。ShardingSphere的定位是关系型数据库中间件，旨在充分利用关系型数据库的计算和存储能力，在分布式场景下提供高性能、高可用、可伸缩的数据访问服务。ShardingSphere的分片策略非常灵活，支持多种分片算法，同时也支持自定义分片算法。除此之外，ShardingSphere还提供了多种扩展功能，例如数据加密、数据脱敏、分布式主键生成等。总之，ShardingSphere是一个非常强大的分布式数据库中间件，可以帮助我们轻松地实现分布式数据库的管理和维护。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值