2.4.3 Sharding-JDBC数据库操作增强类库

最新推荐文章于 2024-03-06 10:02:38 发布
最新推荐文章于 2024-03-06 10:02:38 发布
阅读量1.1k 收藏
点赞数
分类专栏： java高级
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pyl574069214/article/details/105179432
版权

目录

2.4.3.1 sharding-jdbc概览

1、认识ShardingSphere

2、认识Sharding-JDBC

 3、认识Sharding-Proxy

4、三个组件对比认识

​ 5、混合架构

6、ShardingSphere功能清单

7、ShardingSphere数据分片内核工作原理

8、规划路线图

2.4.3.2 sharding-jdbc读写分离

1、Sharding-JDBC入门使用

    1.1、数据源配置说明

​ 2、sharding-jdbc读写分离

    2.1、配置项说明

 2.4.3.3 sharding-jdbc分库分表

1、sharding-jdbc分库分表概念

     1.1、逻辑表

     1.2、数据节点

     1.3、真实表

     1.4、分片策略

      1.5、五种分片策略

2、sharding-jdbc配置默认数据源、分片策略(了解)

3、分布式主键

4、绑定表

5、广播表(全局表)

6、数据分片+读写分离

2.4.3.4 sharding-jdbc事务与数据处理

1、Sharding-JDBC-分布式事务应用 

    1.1、SpringBootStarter使用方式 

    1.2、分布式事务应用

 2、Sharding-JDBC-数据治理-配置中心

    2.1、若使用zookeeper所需jar包 

     2.2、基于Spring boot的规则配置

2.4.3.5 分布式数据库在网易的最佳实践(网易云课堂)

 1、网易分布式数据库DDB

​    1.1、应用场景举例

    1.2、实践

2、数据库设计规范

    2.1、基础规范

    2.2、列设计规范

    2.3、索引规范

    2.4、SQL规范

3、对表进行垂直拆分

    3.1、特点

    3.2、原则

4、水平拆分

5、如何平滑添加字段

2.4.3.1 sharding-jdbc概览

1、认识ShardingSphere

        ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy、Sharding-Sidecar(计划中)这3款相互独立的产品组成。他们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。
    当前版本：3.0
    官网地址：https://shardingsphere.apache.org/index_zh.html
    官方文档：https://shardingsphere.apache.org/document/current/cn/overview

2、认识Sharding-JDBC

    Sharding-JDBC：定位为轻量级Java框架，在java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。
    1、适用于任何基于java的ORM框架，eg：JPA、Hibernate、Mybatis、Spring JDBC Template或直接用JDBC。
    2、基于任何第三方的数据库连接池，eg：DBCP、C3P0、BoneCP、Druid、HikariCP等。
    3、支持任意实现JDBC规范的数据库。目前支持MySQL、Oracle、SQLServer、PostgreSQL。

 3、认识Sharding-Proxy

    Sharding-Proxy：定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。目前先提供MySQL版本，它可以使用任何兼容MySQL协议的访问客户端(eg:MySQL Command Client, MySQL Workbench)操作数据，对DBA更加友好。
    
    1、向应用程序完全透明，可直接当做MySQL使用。
    2、适用于任何兼容MySQL协议的客户端。

4、三个组件对比认识

 5、混合架构

    Sharding-JDBC采用无中心化架构，适用于java开发的高性能的轻量级OLTP应用；Sharding-Proxy提供静态入口，以及异构语言的支持，适用于OLAP应用以及对分片数据库进行管理和运维的场景。    
    ShardingSphere是多接入端共同组成的生态圈。通过混合使用Sharding-JDBC和Sharding-Proxy,并采用同一注册中心统一配置分片策略，能够灵活的搭建适用于各种场景的应用系统，架构师可以更加自由的调整适合于当前业务的最佳系统架构。

OLTP：On-Line Transaction Processing(联机事务处理过程)

OLAP：Online Analytical Processing(联机分析处理)

6、ShardingSphere功能清单

    数据分片：分库 & 分表、读写分离、分布式主键
    分布式事务：XA强一致事务、柔性事务(开发中)
    数据库治理：配置动态化、 熔断 & 禁用、调用链路追踪、弹性伸缩(计划中)

7、ShardingSphere数据分片内核工作原理

    ShardingSphere的3个产品的数据分片主要流程是完全一致的
    核心由：SQL解析 => 执行器优化 => SQL路由 => SQL改写 => SQL执行 => 结果归并；的流程组成

本地参考文档：E:\meWork\study\project\subject-2\subject-2-docs\4-数据库中间件\Sharding-JDBC补充资料\01-Sharding-JDBC概览.pdf

8、规划路线图

2.4.3.2 sharding-jdbc读写分离

1、Sharding-JDBC入门使用

本地参考文档：E:\meWork\study\project\subject-2\subject-2-docs\4-数据库中间件\Sharding-JDBC补充资料\02-Sharding-JDBC入门使用.pdf

本地springboot+sharding jdbc的yml文件配置：E:\meWork\study\project\subject-2\subject-2-db-middleware\sharding-jdbc-study\src\main\resources\application.yml


sharding:
  jdbc:
    datasource:
      names: ds0,ds1
      ds0: 
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.32:3306/db1?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
      ds1: 
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.32:3306/db2?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
    config:
      sharding:
        default-data-source-name: ds0
      props:
        sql.show: true
        
        
mybatis:
  configuration:
    map-underscore-to-camel-case: true

可配置属性说明 

    1.1、数据源配置说明

dataSources: # 配置数据源列表,必须是有效的jdbc配置,目前仅支持MySQL与PostgreSQL,另外通过一些未公开(代码中可查,但可能会在未来有变化)的变量,可以配置来兼容其他支持JDBC的数据库,但由于没有足够的测试支持,可能会有严重的兼容性问题,配置时候要求至少有一个
master_ds_0: # 数据源名称,可以是合法的字符串,目前的校验规则中,没有强制性要求,只要是合法的yaml字符串即可,但如果要用于分库分表配置,则需要有有意义的标志(在分库分表配置中详述),以下为目前公开的合法配置项目,不包含内部配置参数
  # 以下参数为必备参数
 url: •jdbc:mysql://127.0.0.1:3306/demo_ds_slave_1?serverTimezone=UTC&useSSL=false # 这里的要求合法的jdbc连接串即可,目前尚未兼容MySQL 8.x,需要在maven编译时候,升级MySQL JDBC版本到5.1.46或者47版本(不建议升级到JDBC的8.x系列版本,需要修改源代码,并且无法通过很多测试case)
 username: root # MySQL用户名
 password: password # MySQL用户的明文密码
  # 以下参数为可选参数,给出示例为默认配置,主要用于连接池控制
 connectionTimeoutMilliseconds: 30000 #连接超时控制
 idleTimeoutMilliseconds: 60000 # 连接空闲时间设置
 maxLifetimeMilliseconds: 0 # 连接的最大持有时间,0为无限制
 maxPoolSize: 50 # 连接池中最大维持的连接数量
 minPoolSize: 1 # 连接池的最小连接数量
 maintenanceIntervalMilliseconds: 30000 # 连接维护的时间间隔 atomikos框架需求

调用接口：E:\meWork\study\project\subject-2\subject-2-db-middleware\sharding-jdbc-study\src\main\java\com\study\mike\sharding\jdbc\controller\OrderController.java

 可以看到ShardingSphere打印的日志：使用的NIO，及Logic SQL(逻辑sql)、SQL Statement、Actual SQL(实际sql)

 2、sharding-jdbc读写分离

本地参考文档：E:\meWork\study\project\subject-2\subject-2-docs\4-数据库中间件\Sharding-JDBC补充资料\3 Sharding-JDBC读写分离.pdf

准备：

    1、配置mysql主从复制

参考：https://blog.csdn.net/pyl574069214/article/details/105064915#4%E3%80%81mysql%E4%B8%BB%E4%BB%8E%E5%A4%8D%E5%88%B6%E7%9A%84%E9%85%8D%E7%BD%AE%E6%AD%A5%E9%AA%A4
    2、应用中配置sharding-JDBC读写分离

    2.1、配置项说明

 本地springboot+sharding jdbc读写分离的yml文件配置：E:\meWork\study\project\subject-2\subject-2-db-middleware\sharding-jdbc-study\src\main\resources\application-rw.yml


sharding:
  jdbc:
    datasource:
      names: ds0,ds1
      ds0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.32:3306/orders?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
      ds1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.29:3306/orders?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
    config:
      sharding:
        default-data-source-name: ds0
      masterslave:
        name: ms
        master-data-source-name: ds0
        slave-data-source-names: ds1
      props:
        sql.show: true


mybatis:
  configuration:
    map-underscore-to-camel-case: true

 2.4.3.3 sharding-jdbc分库分表

E:\meWork\study\project\subject-2\subject-2-docs\4-数据库中间件\Sharding-JDBC补充资料\4-Sharding-JDBC分库分表.pdf

1、sharding-jdbc分库分表概念

     1.1、逻辑表

        水平拆分的数据库(表)的相同逻辑和数据结构表的总称。eg：订单数据根据主键 % 2拆分为2张表，分别是t_order0、t_order1，他们的逻辑表名为t_order。

     1.2、数据节点

数据分片的最小单元。由数据源名称和数据表组成，eg：ds0.t_order0

数据节点分布说明：
    1、均匀分布：数据源能力均衡。eg：


    2、自定义分布：数据源能力不均。eg：

     1.3、真实表

在分片的数据库中真实存在的物理表。eg：t_order0、t_order1

     1.4、分片策略

数据源分片、表分片仅是两个不同维度的分片，它们能用的分片策略规则是一样的。Sharding-jdbc中提供了常用的分片策略实现。分片策略由两部分构成：分片键、分片算法

      1.5、五种分片策略

1、none 不分片策略
    对应NoneShardingStrategy,不分片策略，SQL会被发给所有节点去执行，这个规则没有子项目可以配置。
2、inline 行表达式分片策略(必掌握)
    对应InlineShardingStrategy。使用Groovy的表达式，提供对SQL语句中的=和IN的分片操作支持，只支持单分片键。对于简单的分片算法，可以通过简单的配置使用，从而避免繁琐的java代码开发。
    eg：t_user_$->{u_id % 8}表示t_user表根据u_id模8，而分成8张表，表名称为t_user_0到t_user_7。
    行表达式语法
        1、${begin..end}表示范围区间
        2、${[unit1,unit2,unit_x]}表示枚举值
        行表达式中如果出现多个${expression}或$->{expression}表达式，整个表达式最终的结果将会根据每个子表达式的结果进行笛卡尔组合。

eg：


sharding:
  jdbc:
    datasource:
      names: ds0,ds1
      ds0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.32:3306/db1?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
      ds1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.32:3306/db2?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
    config:
      sharding:
        tables:
           t_order:
             actual-data-nodes: ds$->{0..1}.t_order$->{0..1}
             database-strategy:
               inline:
                 sharding-column: customer_id
                 algorithm-expression: ds$->{customer_id % 2}
             table-strategy:
               inline:
                 sharding-column: order_id
                 algorithm-expression: t_order$->{order_id % 2}
        default-data-source-name: ds0
      props:
        sql.show: true


mybatis:
  configuration:
    map-underscore-to-camel-case: true

关键配置

    config:
      sharding:
        tables:
           t_order:
             actual-data-nodes: ds$->{0..1}.t_order$->{0..1}
             database-strategy:
               inline:
                 sharding-column: customer_id
                 algorithm-expression: ds$->{customer_id % 2}
             table-strategy:
               inline:
                 sharding-column: order_id
                 algorithm-expression: t_order$->{order_id % 2} 

 3、standard 标准分片策略(了解)
    1、对应StandardShardingStrategy。提供对SQL语句中的=、IN、between and的分片操作支持。
    2、StandardShardingStrategy只支持单分片键，提供PreciseShardingAlgorithm和RangeShardingAlgorithm两个分片算法。
    3、PreciseShardingAlgorithm是必选的，用于处理=和IN的分片。
    4、RangeShardingAlgorithm是可选的，用于处理between and分片，如果不配置RangeShardingAlgorithm，SQL中的between and将按照全库路由处理。       

eg：


sharding:
  jdbc:
    datasource:
      names: ds0,ds1
      ds0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.32:3306/db1?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
      ds1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.32:3306/db2?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
    config:
      sharding:
        tables:
           t_order:
             actual-data-nodes: ds$->{0..1}.t_order$->{0..1}
             database-strategy:
               standard:
                 sharding-column: order_time
                 preciseAlgorithmClassName: com.study.mike.sharding.jdbc.sharding.OrderTimePreciseShardingAlgorithm
             table-strategy:
               inline:
                 sharding-column: order_id
                 algorithm-expression: t_order$->{order_id % 2}
        default-data-source-name: ds0
      props:
        sql.show: true


mybatis:
  configuration:
    map-underscore-to-camel-case: true

关键配置

             database-strategy:
               standard:
                 sharding-column: order_time
                 preciseAlgorithmClassName: com.study.mike.sharding.jdbc.sharding.OrderTimePreciseShardingAlgorithm

  4、complex 复合分片策略(了解)

    1、对应ComplexShardingStrategy。复合分片策略提供对SQL语句中的=、IN、between and的分片操作支持。
    2、ComplexShardingStrategy支持多分片键，由于多分片键之间的关系复杂，因此并未进行过多的封装，而是直接将分片键值组合以及分片操作符透传至分片算法，完全由应用开发者实现，提供最大的灵活度。

 5、hint分片策略(了解) 

    1、对应HintShardingStrategy。通过Hint而非SQL解析的方式分片的策略。
    2、对于分片字段非SQL决定，而由其他外置条件决定的场景，可使用SQL Hint灵活的注入分片字段。SQL Hint支持通过java api和SQL注释(待实现)两种方式使用。
        eg：内部系统，按照员工登录主键分库，而数据库中并无此字段。

2、sharding-jdbc配置默认数据源、分片策略(了解)

    可配置默认的数据源、数据源分片策略、表分片策略

3、分布式主键

    ShardingSphere提供灵活的配置分布式主键生成策略方式。在分片规则配置模块可配置每个表的主键生成策略，默认使用雪花算法(snowflake)生成64bit的长整型数据。
    当前提供了SNOWFLAKE、UUID两种可用方式。 

eg： 


sharding:
  jdbc:
    datasource:
      names: ds0,ds1
      ds0:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.32:3306/db1?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
      ds1:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class: com.mysql.jdbc.Driver
        url: jdbc:mysql://192.168.0.32:3306/db2?useUnicode=true&characterEncoding=utf-8&serverTimezone=UTC
        username: mike
        password: mike
        maxPoolSize: 50
        minPoolSize: 1
    config:
      sharding:
        tables:
           t_order:
             actual-data-nodes: ds$->{0..1}.t_order$->{0..1}
             database-strategy:
               standard:
                 sharding-column: order_time
                 preciseAlgorithmClassName: com.study.mike.sharding.jdbc.sharding.OrderTimePreciseShardingAlgorithm
             table-strategy:
               inline:
                 sharding-column: order_id
                 algorithm-expression: t_order$->{order_id % 2}
             keyGeneratorColumnName: order_id
        default-data-source-name: ds0
      props:
        sql.show: true


mybatis:
  configuration:
    map-underscore-to-camel-case: true

关键配置

keyGeneratorColumnName: order_id

order_id列的类型最好为 varchar避免长度不够。

4、绑定表

    指分片规则一致的主表和子表。eg：t_order表和t_order_item表，均按照order_id分片，则此两张表互为绑定表关系。绑定表之间的多表关联查询不会出现笛卡尔积关联，关联查询效率将大大提升。

 其中t_order在from的最左侧，ShardingSphere将会以它作为整个绑定表的主表。所有路由计算将会只使用主表的策略，那么t_order_item表的分片计算将会使用t_order的条件。故绑定表之间的分区键要完全相同。

5、广播表(全局表)

    指所有的分片数据源中都存在的表，表结构和表中的数据在每个数据库中均完全一致。适用于数据量不大且需要与海量数据的表进行关联查询的场景，eg：字典表。 

6、数据分片+读写分离

 

2.4.3.4 sharding-jdbc事务与数据处理

1、Sharding-JDBC-分布式事务应用 

官方文档：https://shardingsphere.apache.org/document/current/cn/manual/sharding-jdbc/usage/transaction/

本地参考文档地址：E:\meWork\study\project\subject-2\subject-2-docs\4-数据库中间件\Sharding-JDBC补充资料\5 Sharding-JDBC分布式事务应.pdf

    1.1、SpringBootStarter使用方式 

注意：@ShardingTransactionType需要同Spring的@Transactional配套使用，事务才会生效。 

    1.2、分布式事务应用

Atomikos参数配置
    ShardingSphere默认的XA事务管理器为Atomikos。可以通过在项目的classpath中添加jta.properties来定制化Atomikos配置项。具体的配置规则请参考Atomikos的官方文档。
    https://www.atomikos.com/Documentation/JtaProperties

 2、Sharding-JDBC-数据治理-配置中心

    实现动机
        配置集中化：越来越多的运行时实例，使得散落的配置难于管理，配置不同步导致的问题十分严重。将配置集中于配置中心，可以更加有效进行管理。
        配置动态化：配置修改后的分发，是配置中心可以提供的另一个重要能力。它可支持数据源、表与分片及读写分离策略的动态切换
        参考地址：https://shardingsphere.apache.org/document/current/cn/manual/sharding-jdbc/usage/orchestration/

    2.1、若使用zookeeper所需jar包 

<!--若使用zookeeper, 请加入下面Maven坐标-->
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-orchestration-reg-zookeeper-curator</artifactId>
    <version>${sharding-sphere.version}</version>
</dependency>

     2.2、基于Spring boot的规则配置

#这个应用实例的名称
spring.shardingsphere.orchestration.name=orchestration-sharding-data-source
#指明是否需要用本地配置覆盖zookeeper
spring.shardingsphere.orchestration.overwrite=false
spring.shardingsphere.orchestration.registry.type=zookeeper
#zookeeper的连接地址
spring.shardingsphere.orchestration.registry.server-lists=localhost:2181
#指定名字空间
spring.shardingsphere.orchestration.registry.namespace=sharding-jdbc-orchestration

https://shardingsphere.apache.org/document/current/cn/manual/sharding-jdbc/configuration/config-yaml/ 

在某一个Sharding-jdbc应用上，将配置文件写好(写一份完整的配置)，overwrite设置为true，启动这个应用，将本地的配置同步到配置中心，其他的应用只需配置从配置中心取配置的相关信息就可以了。 

2.4.3.5 分布式数据库在网易的最佳实践(网易云课堂)

 1、网易分布式数据库DDB

        网易DDB是业界研发最早的分布式数据库产品之一。DDB采用服务端代理模式，提供透明分库分表服务。
    分库分表的信息存储在MySQL数据库中，DBA通过master节点操作元数据信息(定义数据库、定义表.....)，并且通过master节点将数据同步到QS。
    QS：query server查询服务器
    DDL：Data Definition Language数据库模式定义语言
    DML：Data Manipulation Language数据操纵语言


    1.1、应用场景举例

        在电商场景中，使用RPC框架和微服务架构，商品、订单、库存、支付等模块使用统一的DDB存储，配合DDB的TCC柔性事务框架，解决不同模块间的分布式事务问题

    1.2、实践

        使用DDB在分表中，需要选择合适的字段来进行水平拆分，这个用来分表的字段叫做均衡字段，在实践中，均衡字段的选取非常重要，以下是均衡字段选择的几点建议：
            1、经常作为等值条件的字段适合作为均衡字段
            2、经常作为多表联合查询等值条件的字段(类似外键)适合作为均衡字段，这些表使用相同均衡策略。
            3、均衡字段尽量使用数字。
            4、均衡字段上根据需要建立索引。

2、数据库设计规范

    2.1、基础规范

        1、表必须有主键，建议使用整型作为主键
            如果是字符串需要一个字符一个字符的比较，如果是数字就只需要比较一次
        2、禁止使用外键，表之间的关联性和完整性通过应用层控制
        3、表在设计之初，应考虑到大致的数量级，若表记录数低于1000W,尽量使用单表，不建议分表
            1亿以内的数据，建议用分区表(分区表可以提高查找效率)
            如果有更多的数据，就用分库分表
            分库：不同的物理机器
            分区：同一个机器(同一个mysql中db1库、db2库)
        4、建议将大字段、访问频率低及不需要筛选的字段拆分到拓展表中(做好垂直拆分)
            将经常使用到的字段放在一个表，不经常使用的字段放到另一个表
            (比如：详细描述、内容很多的备注)，这些字段内容多，还不经常用，会影响主表的存储量
        5、控制单实例中表的总数、单个表分表个数控制在1024以内
            MySQL多实例就是在一台服务器上同时开启多个不同的服务端口(eg：3306、3307)同时运行多个Mysql服务进程

    2.2、列设计规范

        合理使用字段类型
            1、正确区分tinyint、int、bigint的范围
                与java的4个整数类型对应
            2、使用varchar(20)存储手机号，不要使用整数
                1、有时候需要区分国别，会有+、-这种符号
                2、手机号就是一个号码，不会做数学运算的
                3、有时候需要做模糊查询
            3、使用int存储IPV4,不要用char(15)
                有时需要对网址做区间段的查询
            4、涉及金额使用decimal,并指定精度
        所有字段应定义为NOT NULL并设置默认值
            1、存储NULL需要更多的空间，并且使得索引和统计变得更复杂

    2.3、索引规范

        1、唯一索引使用    uniq_[字段名]    来命名
        2、非唯一索引使用    idx_[字段名]    来命名
        3、不建议在频繁更新的字段上建立索引
        4、非必要，不要进行join查询，如果要进行join查询，被join的字段必须类型相同，并建立索引
            如果数据类型不同，索引就会失效
        5、单张表索引数量建议控制在5个以内，索引过多，不仅会导致插入更新性能下降，还可能导致MySQL使用错误的索引，可在语句中加上force index来强制使用某个索引
        6、组合索引字段数不建议超过5个，理解组合索引最左前缀原则，避免重复建设索引
            eg：如果建立了索引(a,b,c)，相当于建立了(a)、(a,b)、(a,b,c)，这3个索引
            查询条件最好根据索引来
                查询条件也要出现a、b、c，这样才能最好利用索引，如果没有a,只有b、c，查询时就需要遍历所有的a

    2.4、SQL规范

        1、禁止使用select *,select *会增加CPU、IO、内存、带宽的消耗，指定字段能有效利用索引覆盖指定字段查询
        2、insert必须指定字段，禁止使用insert into T values(),指定字段插入，在表结构变更时，能保证对应用程序无影响
        3、隐式类型转换会使索引失效，导致全表扫描
            eg：通过手机号搜索时，未转成字符串
        4、禁止在where条件列使用函数或者表达式，导致不能命中索引，全表扫描
            如果经常需要用到函数查询，可以建一个函数索引
函数索引：MySQL 8.0.13 以及更高版本支持函数索引，https://blog.csdn.net/horses/article/details/85059678
        5、禁止负向查询以及%开头的模糊查询，导致不能命中索引，全表扫描
            负向查询：not、非，这些不会走索引，会全表扫描，https://www.jianshu.com/p/20361fe96f0a
            如果数据量很大(几千万数据)、经常需要用%开头的模糊查询，可以用全文索引

全文索引：https://blog.csdn.net/mrzhouxiaofei/article/details/79940958
            文本排序(字符索引排序)：将每一个字符根据编码集(UTF-8)转成编码值，根据每个字符的编码值进行排序
                                                   按照文本内容第一个字符、第二字符进行排序
                                                   也就是说内容的第一个字符相同的，会挨着排，根据第二个字符判断谁排前面，以此类推
        6、避免直接返回大结果集造成内存溢出，可采用分段和游标方式
游标：Mysql中游标只适用于存储过程以及函数。https://www.cnblogs.com/progor/p/8875100.html
什么是索引：https://www.cnblogs.com/wwxzdl/p/11116446.html
        7、返回结果集时尽量使用limit分页显示
        8、避免出现较大的limit和offset值
        9、使用group by或order by的语句，即使 用了limit offset,如果没有合适的索引做排序操作，也会遍历所有满足where条件的结果
            代码示例:
                语句1：select * from student limit 9,4
                语句2：slect * from student limit 4 offset 9
                // 语句1和2均返回表student的第10、11、12、13行  
                //语句2中的4表示返回4行，9表示从表的第十行开始
        10、大表扫描操作尽量放到镜像库上做
            镜像库、主从热备
        11、禁止大表join和子查询
        12、同一个字段上的OR必须改写为IN,IN的值必须少于1024个
        13、应用程序必须捕获SQL异常，方便定位线上问题

3、对表进行垂直拆分

    将一个属性较多的表、一行数据较大的表，将不同的属性拆分到不同的表中，以降低单库中的表的大小

    3.1、特点

        1、每个表的结构不一致
        2、每个表的数据都是全量
        3、表之间至少有一列的关联数据，一般是主键
        4、所有表的并集是全量数据

    3.2、原则

        1、将长度较短，访问频率较高的放入一张表，如主表
        2、将长度较长、访问频率较低的字段放入拓展表
        3、将经常一起访问的字段放入一张表       

4、水平拆分

    1、场景：云课堂消息系统，主要涉及3张表：用户表、消息模板表、消息表
    2、业务需求
        1、用户查看最近收到的消息(99%的场景会用)
        2、用户回查历史消息(使用概率：0.5%)
        3、后台查询单个消息模板发给哪些用户(使用概率：0.5%)
    3、表设计
        1、结合业务需求，大部分场景都是通过用户id查看消息，因此用户表、消息表均以user_id作为均衡字段(分表的字段)，消息模板表则以id作为均衡字段，便于组装消息。
        2、消息表会随着时间逐渐增大，继而难以维护并降低数据库性能，因此根据创建时间进行分区，分隔最近消息和历史消息，便于热冷分离。

5、如何平滑添加字段

    1、场景：在开发时，有时需要给表加个字段，在大数据量且分表的情况下，怎样平滑添加
    2、常用方案
        1、直接alter table add column,数据量大时不建议
            (写锁、耗时间)
        2、提前预留字段
            (不优雅、造成空间浪费、预留多少很难控制，拓展性差)
        3、新增一张表，在新表增加字段，迁移原表数据(pt-online-schema-change),再重命名新表为原表
            (数据量很大时，迁移数据很麻烦)
        4、放入extInfo，也就是加扩展表
            (无法使用索引)
        5、提前设计，使用key-value方式存储，新增字段时，直接加一个key就好了(优雅)

    3、案例
        在设计优惠系统时，优惠劵存在适用范围，eg：拼团、秒杀活动的互斥、使用端的限制......这些信息如何设计？
    4、设计
        这种场景适合采用方案5进行拓展，将拼团是否可用、秒杀是否可用、ios是否可用......作为一个key,而不是一个属性挂在优惠表上，以后再添加andriod是否可用，会员是否可用时，直接增加key即可完成扩展。
        (优惠设置表以优惠劵模板id进行水平分表)

爵影子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
MySQL第十二讲：ShardingJDBC详解
Jet_qi的博客
09-19 711
互联网业务兴起之后，海量用户加上海量数据的特点，单个数据库服务器已经难以满足业务需要，必须考虑数据库集群的方式来提升性能。高性能数据库集群的`第一种方式是“读写分离”`，`第二种方式是“数据库分片”`。
ShardingJDBC 分库分表详解
目标检测专栏持续更新中，改进YOLO系列通用，适用v5、v7、v8、所有博客均是团队原创博客，所有文章禁止转载，违者必究。
06-12 2857
1、ShardingSphere概述1.1、ShardingSphere概述主要来说就以下三点：1.2、ShardingSphere-JDBC概述定位为轻量级 Java 框架，和spring、mybatis一样，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。1.3、ShardingSphere-Proxy概述定位为透明化的数据库代理端，提供封装了数据库二进制协
配置sharding-jdbc的分库分表数据源，及默认读写分离数据源（可本地测试）
ttpxp01的专栏
08-09 1495
shardingsphere 配置读写分离 + 分库分表 + 不分库分表 同时包含 mybatis-plus crud+分页test示例
ShardingSphere-JDBC使用
07-31 1167
ShardingSphere-JDBC
sharding jdbc使用详解
lonely_baby的博客
02-22 1452
在这个例子中，t_order 表会被分成两个物理表 t_order_0 和 t_order_1，分别存储 order_id 值为偶数和奇数的数据。在这个例子中，Sharding-JDBC 数据源是通过 ShardingDataSourceFactory 创建的，使用了前面配置的分片规则和 SQL 解析规则。接下来，需要在 Spring 配置文件中配置 SQL 解析规则。以上是 Sharding-JDBC 的使用详解说明，使用 Sharding-JDBC 可以轻松地实现分布式数据库的横向扩展。
读写分离操作(Sharding-JDBC)
愿你有前程可奔赴，亦有青春可回顾
05-19 559
作用 实现读写分离 背景 Sharding-JDBC 介绍 使用方法 使用Sharding-JDBC实现读写分离步骤: 导入maven坐标 <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>4.1.1&lt
Sharding-Jdbc分库分表集成Mybatis-Plus+多数据源管理
qq_27577113的博客
11-03 2787
在介绍Sharding-JDBC之前，有必要先介绍下Sharding-JDBC的大家族ShardingSphere。在介绍ShardingSphere之后，相信大家会对ShardingSphere的整体架构以及Sharding-JDBC扮演的角色会有更深的了解。ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。
ShardingSphere-JDBC篇
weixin_43410352的博客
06-07 2825
sharding介绍+案例
Sharding-JDBC介绍及分库分表实践
m0_68681879的博客
09-01 1423
实现Sharding提供的精准分片接口，重写一下doSharding方法，接下来的几个分片算法，也都是差不多的操作。@Override//实现course$->{cid%2}return key;@Override@Override/*** Hint限制：* 不支持union查询* 不支持多层子查询* 不支持函数计算*/@Override。
ShardingJDBC分库实践
Er_vel的博客
03-02 1054
ShardingJDBC分库实践
Sharding-JDBC（四）集成dynamic-datasource
ACGkaka的博客
12-22 4821
实现原理： * 通过 DataSourceConfig.java 将ShardingJDBC数据源配置为动态数据源之一。 * 通过 @DS(DataSourceConfig.SHARDING_DATA_SOURCE_NAME) 使用 ShardingJDBC 的数据源进行分表操作。
利用ShardingSphere-JDBC实现分库分表--配置中心的实现
weixin_30755393的博客
08-29 654
在之前的文章中我详细描述了如何利用ShardingSphere-JDBC进行分库分表，同时也实现了简单的精确分库算法接口，详情见下面的链接： 利用ShardingSphere-JDBC实现分库分表 但是观察一下配置文件，我现在只有两张表的情况下就已经用了60行来做配置，如果说我在一个真实的系统中，那么配置文件的规模将是非常可观的，这个时候配置中心的作用就很重要了。ShardingSphe...
一文快速入门分库分表中间件 Sharding-JDBC （必修课）
程序员内点事
10-26 1189
书接上文 《一文快速入门分库分表（必修课）》， 作为Sharding-JDBC 分库分表实战系列的开篇文章，我们在前文中回顾了一下分库分表的基础知识，对分库分表的拆分方式有了一定的了解，下边我们介绍一下 Sharding-JDBC框架和快速的搭建一个分库分表案例，为后续讲解功能准备好环境。 前世今生 Sharding-JDBC 最早是当当网内部使用的一款分库分表框架，到2017年的时候才开始对外开源，这几年在大量社区贡献者的不断迭代下，功能也逐渐完善，随后更名为 ShardingSphere，2020年4⽉
sharding-jdbc 学习 1
我是个农民的博客
04-15 703
shardingsphere官方文档 先看看数据分片 =>数据分片链接 使用基于java编码的规则配置 1 获取Datasource 把截图代码cv过来 稍加改造后 dataSourceUtils 截图： datasources.properties 截图: 数据库 截图 插入6条数据试试 结果： 根...
sharding-jdbc基本使用
最新发布
daniuniuniu的博客
03-06 2129
Apache ShardingSphere 是一款分布式的数据库生态系统，可以将任意数据库转换为分布式数据库，并 通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如 何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。它站在数据库的上层视角， 关注它们之间的协作多于数据库自身。
jdbc、索引
乌昂先生的博客
09-02 378
一、jdbc 1、驱动 jar包 java database connector 拥有能够链接数据库的能力 ： Class.forName("com.mysql.jdbc.Driver") 获得数据库的链接 ： Connection coon=DriverM...
springboot项目利用ShardingSphere实现数据库字段加解密
koushen001的博客
02-02 1842
springboot项目利用ShardingSphere实现数据库字段加解密 引入jar包 <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>4.0.0</version> </depende
shardingsphere小记
ILYPTING的博客
07-14 347
分库分表时，对数据量大，业务压力比较大的表进行分库分表，例如订单表，订单明细表。对业务量不大且变化很小的表，可以采用广播表的方案，利用部分冗余来减少系统可能出现的跨库事务 对于需要分库分表的数据表，根据业务情况判断是否需要在表中添加额外的字段作为分库键与分表键。 若数据表添加分库键与分表键，对于分库键字段和分表键字段的取值，不仅要考虑生成路由时的负载问题 若数据表添加分库键与分表键，要考虑大量数据查询时，使用这两个字段的效率问题 若数据表添加分库键与分表键，并给这两个字段添加索引时，要考虑这两个字段的取值.
MySql通过Sharding-Sphere分库分表之后的在线DDL方案总结
韩超的博客 (hanchao5272)
06-16 3106
1.概述 之前，通过二次开发的分库分表中间件Sharding-Shere实现了对MySql的分表。 由于某些原因，分库分表之后，原表和分表都在提供服务。 现由于某些需求，需要对原和分表增加若干字段，并要求不能影响线上服务。 此文章是对在线DDL的总结，前置文章如下：记一次分库分表——改造策略总结 2.如何保证不影响线上服务 经过调研，最终采用的是在线DDL插件：pt-online-schem...
spark-2.4.3-bin-hadoop2.7.tgz 下载
10-10
要下载spark-2.4.3-bin-hadoop2.7.tgz，可以按照以下步骤进行操作： 1. 打开Spark的官方网站：https://spark.apache.org/downloads.html 2. 在页面上找到Spark 2.4.3版本，它是当前最新稳定版本。 3. 在下载版本的下方，找到“Pre-built for Hadoop 2.7 and later”下的“spark-2.4.3-bin-hadoop2.7.tgz”。 4. 单击该链接，会弹出下载对话框。 5. 选择一个合适的存储位置，点击“保存”来保存该文件。 6. 下载过程需要时间，具体取决于您的网络速度。 7. 下载完成后，即可使用解压工具（例如WinRAR）来解压下载的.tgz文件。 通过以上步骤，您就可以成功下载spark-2.4.3-bin-hadoop2.7.tgz文件，并可以将其解压用于您的Spark项目中。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值