mysql分库分表 dangdang插件

最新推荐文章于 2023-12-01 14:58:33 发布

EasyChill

最新推荐文章于 2023-12-01 14:58:33 发布

阅读量1k

点赞数

分类专栏：数据库

本文链接：https://blog.csdn.net/Song_JiangTao/article/details/102369663

版权

数据库专栏收录该内容

17 篇文章 0 订阅

订阅专栏

文章目录

1、何谓分库分表：

从字面上简单理解，就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。

2、为何要分库分表

可以减轻数据库的压力，不用所有线程都查同一个数据库；

数据库中的数据量不一定是可控的，在未进行分库分表的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增删改查的开销也会越来越大；另外，由于无法进行分布式式部署，而一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。

3、如何进行分库分表

分库分表有垂直切分和水平切分两种。

3.1 何谓垂直切分，即将表按照功能模块、关系密切程度划分出来，部署到不同的库上。例如，我们会建立定义数据库workDB、商品数据库payDB、用户数据库userDB、日志数据库logDB等，分别用于存储项目数据定义表、商品定义表、用户数据表、日志数据表等。
3.2 何谓水平切分，当一个表中的数据量过大时，我们可以把该表的数据按照某种规则，例如userID散列，进行划分，然后存储到多个结构相同的表，和不同的库上。例如，我们的userDB中的用户数据表中，每一个表的数据量都很大，就可以把userDB切分为结构相同的多个userDB：part0DB、part1DB等，再将userDB上的用户数据表userTable，切分为很多userTable：userTable0、userTable1等，然后将这些表按照一定的规则存储到多个userDB上。
3.3 应该使用哪一种方式来实施数据库分库分表，这要看数据库中数据量的瓶颈所在，并综合项目的业务类型进行考虑。
如果数据库是因为表太多而造成海量数据，并且项目的各项业务逻辑划分清晰、低耦合，那么规则简单明了、容易实施的垂直切分必是首选。
而如果数据库中的表并不多，但单表的数据量很大、或数据热度很高，这种情况之下就应该选择水平切分，水平切分比垂直切分要复杂一些，它将原本逻辑上属于一体的数据进行了物理分割，除了在分割时要对分割的粒度做好评估，考虑数据平均和负载平均，后期也将对项目人员及应用程序产生额外的数据管理负担。
在现实项目中，往往是这两种情况兼而有之，这就需要做出权衡，甚至既需要垂直切分，又需要水平切分。一般的游戏项目便综合使用了垂直与水平切分，我们首先对数据库进行垂直切分，然后，再针对一部分表，通常是用户数据表，进行水平切分。

4、分库分表有何缺陷

4.1 事务问题。
在执行分库分表之后，由于数据存储到了不同的库上，数据库事务管理出现了困难。如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价；如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担。
4.2 跨库跨表的join问题。
在执行了分库分表之后，难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上，这时，表的关联操作将受到限制，我们无法join位于不同分库的表，也无法join分表粒度不同的表，结果原本一次查询能够完成的业务，可能需要多次查询才能完成。
4.3 额外的数据管理负担和数据运算压力。
额外的数据管理负担，最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题，这些都可以通过应用程序解决，但必然引起额外的逻辑运算，例如，对于一个记录用户成绩的用户数据表userTable，业务要求查出成绩最好的100位，在进行分表之前，只需一个order by语句就可以搞定，但是在进行分表之后，将需要n个order by语句，分别查出每一个分表的前100名用户数据，然后再对这些数据进行合并计算，才能得出结果。

5、dangdang插件介绍

dangdang是开源的一个分库分表插件，实现了简单的分库分表的功能

github地址 https://github.com/dangdangdotcom/sharding-jdbc

首先是jar包引用，maven依赖如下

<dependency>  
    <groupId>com.dangdang</groupId>  
    <artifactId>sharding-jdbc-core</artifactId>  
    <version>1.3.3</version>  
</dependency>  
<dependency>  
    <groupId>com.dangdang</groupId>  
    <artifactId>sharding-jdbc-config-spring</artifactId>  
    <version>1.3.3</version>  
</dependency>

然后就是spring配置，单独建了一个文件，主xml中import一下，配置数据源和分库分表规则，目前的规则逻辑都是按照id%2配置的，具体应用按照自己实际业务来。

<?xml version="1.0" encoding="UTF-8"?>  
<beans xmlns="http://www.springframework.org/schema/beans"  
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"  
       xmlns:rdb="http://www.dangdang.com/schema/ddframe/rdb"  
       xsi:schemaLocation="http://www.springframework.org/schema/beans  
                        http://www.springframework.org/schema/beans/spring-beans.xsd  
                        http://www.dangdang.com/schema/ddframe/rdb  
                        http://www.dangdang.com/schema/ddframe/rdb/rdb.xsd">  
  
    <bean id="statFilter" class="com.alibaba.druid.filter.logging.Slf4jLogFilter">  
        <property name="statementExecutableSqlLogEnable" value="false"/>  
        <property name="dataSourceLogEnabled" value="false"/>  
    </bean>  
    <bean id="logFilter" class="com.alibaba.druid.filter.stat.StatFilter">  
        <property name="slowSqlMillis" value="50"/>  
        <property name="logSlowSql" value="false"/>  
        <property name="mergeSql" value="true"/>  
    </bean>  
  
    <bean id="master0" class="com.alibaba.druid.pool.DruidDataSource" init-method="init"  
          destroy-method="close">  
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>  
        <property name="username" value="root"/>  
        <property name="url" value="jdbc:mysql://127.0.0.1:3306/demodb00"/>  
        <property name="password" value="root"/>  
        <property name="maxActive" value="10"/>  
        <property name="initialSize" value="1"/>  
        <property name="maxWait" value="60000"/>  
        <property name="minIdle" value="1"/>  
        <property name="timeBetweenEvictionRunsMillis" value="60000"/>  
        <property name="minEvictableIdleTimeMillis" value="300000"/>  
        <property name="validationQuery" value="SELECT 'x'"/>  
        <property name="testWhileIdle" value="true"/>  
        <property name="testOnBorrow" value="false"/>  
        <property name="testOnReturn" value="false"/>  
        <property name="poolPreparedStatements" value="true"/>  
        <property name="maxPoolPreparedStatementPerConnectionSize" value="50"/>  
        <property name="maxOpenPreparedStatements" value="100"/>  
        <property name="proxyFilters">  
            <list>  
                <ref bean="statFilter"/>  
                <ref bean="logFilter"/>  
            </list>  
        </property>  
    </bean>  
  
    <bean id="master1" class="com.alibaba.druid.pool.DruidDataSource" init-method="init"  
          destroy-method="close">  
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>  
        <property name="username" value="root"/>  
        <property name="url" value="jdbc:mysql://127.0.0.1:3306/demodb01"/>  
        <property name="password" value="root"/>  
        <property name="maxActive" value="10"/>  
        <property name="initialSize" value="1"/>  
        <property name="maxWait" value="60000"/>  
        <property name="minIdle" value="1"/>  
        <property name="timeBetweenEvictionRunsMillis" value="60000"/>  
        <property name="minEvictableIdleTimeMillis" value="300000"/>  
        <property name="validationQuery" value="SELECT 'x'"/>  
        <property name="testWhileIdle" value="true"/>  
        <property name="testOnBorrow" value="false"/>  
        <property name="testOnReturn" value="false"/>  
        <property name="poolPreparedStatements" value="true"/>  
        <property name="maxPoolPreparedStatementPerConnectionSize" value="50"/>  
        <property name="maxOpenPreparedStatements" value="100"/>  
        <property name="proxyFilters">  
            <list>  
                <ref bean="statFilter"/>  
                <ref bean="logFilter"/>  
            </list>  
        </property>  
    </bean>  
  
    <!--非必须的，可以省略掉，下面的rdb:sharding-rule直接配置数据源id即可>  
    <rdb:master-slave-data-source id="rbb_0" master-data-source-ref="master0" slave-data-sources-ref="master0"/>  
    <rdb:master-slave-data-source id="rbb_1" master-data-source-ref="master1" slave-data-sources-ref="master1"/>  
  
    <rdb:strategy id="idDbSharding" sharding-columns="id"  
                  algorithm-class="net.aty.spring.DbAlgorithm"/>  
  
    <rdb:strategy id="idTbSharding" sharding-columns="id"  
                  algorithm-class="net.aty.spring.TbAlgorithm"/>  
  
    <rdb:data-source id="wholeDataSource">  
        <rdb:sharding-rule data-sources="rbb_0,rbb_1">  
            <rdb:table-rules>  
                <rdb:table-rule logic-table="user" actual-tables="user_${0..1}"  
                                database-strategy="idDbSharding" table-strategy="idTbSharding"/>  
            </rdb:table-rules>  
        </rdb:sharding-rule>  
    </rdb:data-source>  
  
</beans>

接下来是分库分表规则类

package com.feng.splitdbtb;  
  
import com.dangdang.ddframe.rdb.sharding.api.ShardingValue;  
import com.dangdang.ddframe.rdb.sharding.api.strategy.database.SingleKeyDatabaseShardingAlgorithm;  
  
import java.util.Collection;  
  
public class DbAlgorithm implements SingleKeyDatabaseShardingAlgorithm<Integer> {  
  
    @Override  
    public String doEqualSharding(Collection<String> collection, ShardingValue<Integer> shardingValue) {  
        int id = shardingValue.getValue();  
  
        int index = id % 2;  
  
        for (String each : collection) {  
            if (each.endsWith(index + "")) {  
                return each;  
            }  
        }  
        throw new UnsupportedOperationException();  
    }  
  
    @Override  
    public Collection<String> doInSharding(Collection<String> collection, ShardingValue<Integer> shardingValue) {  
        return null;  
    }  
  
    @Override  
    public Collection<String> doBetweenSharding(Collection<String> collection, ShardingValue<Integer> shardingValue) {  
        return null;  
    }  
}

分表规则类

package com.feng.splitdbtb;  
  
import com.dangdang.ddframe.rdb.sharding.api.ShardingValue;  
import com.dangdang.ddframe.rdb.sharding.api.strategy.table.SingleKeyTableShardingAlgorithm;  
  
import java.util.Collection;  
  
public class TbAlgorithm implements SingleKeyTableShardingAlgorithm<Integer> {  
  
    @Override  
    public String doEqualSharding(Collection<String> availableTargetNames, ShardingValue<Integer> shardingValue) {  
        int id = shardingValue.getValue();  
  
        int index = id % 2;  
  
        for (String each : availableTargetNames) {  
            if (each.endsWith(index + "")) {  
                return each;  
            }  
        }  
        throw new UnsupportedOperationException();  
    }  
  
    @Override  
    public Collection<String> doInSharding(Collection<String> availableTargetNames, ShardingValue<Integer> shardingValue) {  
        return null;  
    }  
  
    @Override  
    public Collection<String> doBetweenSharding(Collection<String> availableTargetNames, ShardingValue<Integer> shardingValue) {  
        return null;  
    }  
}

最后是建库建表语句，我只给一个例子，具体的数据库包括dbdemo00(表user_0,user_1)，dbdemo01(表user_0,user_1)

drop database if exists demodb00;  
CREATE database demodb00 DEFAULT CHARACTER SET utf8;  
  
CREATE TABLE demodb00.user (  
  id int(11) NOT NULL AUTO_INCREMENT,  
  name varchar(100) DEFAULT NULL,  
  age int(11) DEFAULT NULL,  
  PRIMARY KEY (id),  
  UNIQUE KEY id_UNIQUE (id)  
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

EasyChill

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
mysql分库分表 dangdang插件

dangdang是开源的一个分库分表插件，实现了简单的分库分表的功能github地址 https://github.com/dangdangdotcom/sharding-jdbc首先是jar包引用，maven依赖如下<dependency> <groupId>com.dangdang</groupId> <artifactI...
复制链接

扫一扫