数据切分的设计方案

最新推荐文章于 2023-10-08 08:30:29 发布
最新推荐文章于 2023-10-08 08:30:29 发布
阅读量2.3k 收藏
点赞数
分类专栏： springboot mysql springJPA 文章标签： 中间件 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tanwei010915/article/details/122599914
版权
springboot 同时被 3 个专栏收录
39 篇文章 0 订阅
订阅专栏
mysql
15 篇文章 0 订阅
订阅专栏
springJPA
9 篇文章 0 订阅
订阅专栏

文章目录

1. 数据的切分实现方式

简单来讲，就是讲存放在一台数据库上的数据分布到多台数据库上，形成了一个分布式数据库，大致我们数据的拆分方式分为两种

1.1. 垂直切分

常用于我们的微服务设计中，不同的业务领域存放不同的表，比如用户模块存放我们用户相关表，外部调用通过服务访问用户模块，用户模块再去访问对应的数据库

跨库来实现我们数据的join连接，就会导致查询性能极大的下降

垂直切分的优缺点

优点

  • 拆分后业务更清晰，规则明确
  • 系统之间耦合降低，便于扩展
  • 数据维护简单

缺点

  • 部分业务表无法join，只能通过接口调用，提升了系统的复杂度
  • 跨库事务处理是个问题（2PC，程序端解决2PC-seata）
  • 垂直切分以后，某些业务数据依旧庞大，依然会存在单体性能瓶颈

1.2. 水平拆分

明确的id查询是通过表的存入规则来进行匹配，如果是范围查询，将数据在两个表都进行查询然后进行业务合并

优点

  • 解决了单库大数据，高并发的问题，实现数据的分布式
  • 拆分规则只要封装好，开发人员不用考虑拆分细节
  • 提升了系统的稳定性和负载能力

缺点

  • 拆分规则不太好抽象
  • 分布式事务一致性不好解决
  • 二次扩展的时候、数据迁移、维护难度都比较大

1.3. 整体方案总结

垂直和水平都要面临的问题（一定是先垂直后水平）

  • 分布式事务问题
  • 跨库join问题
  • 多数据源的问题
  • 拆分合并的问题

针对多数据源的管理问题，主要有两种思路

1、客户端模式：只要需要配置好底层的数据源，然后在程序上直接访问即可

2、中间代理模式：由中间代理管理所有数据源，开发人员完全不用关心底层数据源是什么，在哪里，开发人员不用关系拆分规则

基于这两种模式对应的成熟的三方中间件

  • 中间代理模式：MyCat（相当于一个分布式数据库，而我们的MySQL只是他的一个存储仓库）
  • 客户端模式：sharding-jdbc（统一的数据源，由他管理不同的数据链接）

2. MyCat的整体分析

2.1. MyCat的内部逻辑

  • 逻辑库（Schema）

    将分开的物理库合并的一个逻辑数据库

  • 逻辑表（table）

    逻辑表就是物理表的总和

    只要进行了水平切分就是一个分片表，没有切分的就是非分片表

    通过冗余方式复制到所有分片表所在库的表就叫全局表

  • 分片节点（dataNode）

    数据表被分片到不同的分片数据库上，每个分片表所在的库就叫数据节点

  • 分片主机（dataHost）

    所有分片数据实际存放的物理数据库

  • 分片规则（rule）

    MyCat有很多分片规则，基本够用，自己本身是用Java开发的

  • 全局序列号

    • UUID
    • snow id

2.2. MyCat实现数据分库分表

3. MyCat安装应用

http://www.mycat.org.cn/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-49YRnM5c-1642657343109)(数据切分的设计方案.assets/image-20200624200530686.png)]

这是MyCat的物理结构，MyCat本身是不存储数据的

# 需要提前安装两个数据库：这两个数据库是独立，不能是主从关系
# 0.下载mycat
wget http://dl.mycat.org.cn/1.6.7.3/20190927161129/Mycat-server-1.6.7.3-release-20190927161129-linux.tar.gz
# 1.解压
tar -xvf Mycat-server-1.6.7.3-release-20190927161129-linux.tar.gz
# 2.配置server.xml
cd /usr/local/mycat/mycat/conf
vi server.xml

进入server.xml我们去到底部先看用户权限

<user name="root" defaultAccount="true">
  <property name="password">123456</property>
  <property name="schemas">user_module,cart_module,product_module</property>
</user>

开始配置逻辑库：schema.xml

先配置两个物理主机

        <dataHost name="DB213" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <writeHost host="M1" url="192.168.0.213:3306" user="gavin"
                                   password="123456">
                </writeHost>
        </dataHost>
        <dataHost name="DB214" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <writeHost host="M1" url="192.168.0.214:3306" user="gavin"
                                   password="123456">
                </writeHost>
        </dataHost>

配置dataNode的数据节点，这里的database是我们的物理存放数据的数据库名

        <dataNode name="dn213" dataHost="DB213" database="user_213" />
        <dataNode name="dn214" dataHost="DB214" database="user_214" />

配置schema节点，schema节点的name是server.xml里配置逻辑库名，要对应

table节点里配置的name是物理数据库存放的实际表名

<schema name="user_module" checkSQLschema="true" sqlMaxLimit="100">
  <!-- auto sharding by id (long) -->
  <table name="user_info" dataNode="dn213,dn214" rule="auto-sharding-long" />
</schema>

现在去两个物理数据库创建两个库user_213，user_214和两个表user_info

CREATE TABLE `user_info` (
  `id` int(11) DEFAULT NULL,
  `username` varchar(255) DEFAULT NULL,
  `password` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

启动MyCat

# 报错
jvm 1    | Caused by: io.mycat.config.util.ConfigException: Illegal table conf : table [ USER_INFO ] rule function [ rang-long ] partition size : 3 > table datanode size : 2, please make sure table datanode size = function partition size

# 根据分片规则去找具体的分片策略
vi rule.xml
# 找到这个规则 auto-sharding-long
        <tableRule name="auto-sharding-long">
                <rule>
                        <columns>id</columns>
                        <algorithm>rang-long</algorithm>
                </rule>
        </tableRule>
	
        <function name="rang-long"
                class="io.mycat.route.function.AutoPartitionByLong">
                <property name="mapFile">autopartition-long.txt</property>
        </function>

vi autopartition-long.txt
0-2000000=0
2000001-4000000=1
4000001-8000000=2
# K=1000,M=10000
# 需要根据dataNode设置节点数

4. MyCat分库分表配置

4.1. server.xml

MyCat用户名，密码，权限，Schema关系

如果一个用户下右多个Schema就以csv格式来写入

多个schema就需要在schema.xml里配置多个组schema

mysql -umycat -p -h192.168.0.211 -P8066

4.2. schema.xml

  • 配置dataHost，包括写host和读host
  • 配置dataNode，指定具体的数据库
  • 配置schema，表名，数据节点，分片规则

dataHost节点

<dataHost name="DB214" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
# name：主机名，自己命名即可
# maxCon：最大连接
# minCon：最小链接
# balance：负载均衡策略，值有4个
# 1. balance="0"，不开启读写分离，所有的操作都在writeHost上操作
# 2. balance="1"，全部的readHost与stand by writeHost参与select数据的负载均衡
# 3. balance="2" 所有的读操作会随机writeHost和readHost
# 4. balance="3" 所有的读操作都会随机分发到readHost，writeHost不参与读操作
双主也需要我们自己进行replica，mycat平时只写入一个主机
# writeType 写数据类型
# 1. writeType="0"，所有写操作都会发送到配置的第一个writeHost，如果第一个挂了就会自动切到第二个writeHost配置上
# writeType="1"，所有的写操作会随机到writeHost上，1.5版本后不推荐
# switchType 切换类型配套我我们的writeType来进行操作的
# -1 表示写操作不自动进行切换
# 1 默认值，自动切换，从第一个到第二个writeHost
# 2 基于MySQL的主从同步的状态决定是否切换

dataNode节点

<dataNode name="dn213" dataHost="DB213" database="user_213" />
# name:节点名
# dataHost：对应dataHost的名字
# database：是物理数据库的保存名称

schema节点

<schema name="user_module" checkSQLschema="true" sqlMaxLimit="100">
		<table name="user_info" dataNode="dn213,dn214" rule="auto-sharding-long" />
</schema>
# name:在server配置里定义的逻辑库名
# checkSQLschema：如果是true会自动去掉数据库前缀
# sqlMaxLimit：为了减轻数据库压力，做的输出限制，默认限制100行
# sqlMaxLimit仅对分片表有效
# table name：物流表名
# rule就是分片规则

4.3. schema相关操作

看下启动命令

Usage: ./mycat { console | start | stop | restart | status | dump }

修改完配置后不需要重启mycat就能使用？

# 更改一些基本配置可以使用脚本操作
# 比如更改了limit就可以使用
reload @@config;
# 比如更新了数据源就需要通过config_all来进行操作了，但这里是更新所有配置，比较慢
reload @@config_all;
  • 模拟一个读写分离的操作
        <dataHost name="DB213" maxCon="1000" minCon="10" balance="2"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="M1" url="192.168.0.213:3306" user="gavin"
                                   password="123456">
                   <readHost host="S1" url="192.168.0.211:3306" user="gavin" password="123456"/>
                </writeHost>
                <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
        </dataHost>
  • 做一个双主的写操作配置
        <dataHost name="DB213" maxCon="1000" minCon="10" balance="1"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="M1" url="192.168.0.213:3306" user="gavin"
                                   password="123456">
                </writeHost>
                <writeHost host="M2" url="192.168.0.211:3306" user="gavin" password="123456"/> 
        </dataHost>

作业1：自己配置两个双主的writeHost，每个writeHost上挂载一个readHost

5. MyCat的分片规则

5.1. 枚举分片

# columns对应我们的分片列名
				<tableRule name="sharding-by-intfile">
                <rule>
                        <columns>type</columns>
                        <algorithm>hash-int</algorithm>
                </rule>
        </tableRule>

# 加入了默认的配置项
        <function name="hash-int"
                class="io.mycat.route.function.PartitionByFileMap">
                <property name="mapFile">partition-hash-int.txt</property>
                <property name="defaultNode">0</property>
        </function>
        
# 枚举规则
vi partition-hash-int.txt
10000=0
10010=0
10020=0
10001=1
10011=1
10021=1
DEFAULT_NODE=0
# 修改schema
        <schema name="user_module" checkSQLschema="true" sqlMaxLimit="100">
                <!-- auto sharding by id (long) -->
                <table name="user_info" dataNode="dn213,dn214" rule="sharding-by-intfile" />

5.2. 取模分片

# 拿id做取模分片
				<tableRule name="mod-long">
                <rule>
                        <columns>id</columns>
                        <algorithm>mod-long</algorithm>
                </rule>
        </tableRule>
# 根据节点数取模
        <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
                <!-- how many data nodes -->
                <property name="count">2</property>
        </function>
# 修改schema文件
        <schema name="user_module" checkSQLschema="true" sqlMaxLimit="100">
                <!-- auto sharding by id (long) -->
                <table name="user_info" dataNode="dn213,dn214" rule="mod-long" />

5.3. 创建一个时间分片规则

# 创建表
CREATE TABLE `login_info` (
  `id` int(11) NOT NULL,
  `username` varchar(255) DEFAULT NULL,
  `login_date` date DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
# 在rule.xml中创建一个新的时间规则
        <tableRule name="my-sharding-by-date">
                <rule>
                        <columns>login_date</columns>
                        <algorithm>my-sharding-by-date</algorithm>
                </rule>
        </tableRule>
# 增加一个function
        <function name="my-sharding-by-date"
                class="io.mycat.route.function.PartitionByDate">
                <property name="dateFormat">yyyy-MM-dd</property>
                <property name="sBeginDate">2020-06-20</property>
                <property name="sEndDate">2020-06-23</property>
                <property name="sPartionDay">1</property>
        </function>      
# cloumns：分区字段
# algorithm：指定分片算法
# dateFormat：日期格式
# sBeginDate：开始时间
# sEndDate：结束时间
# sPartionDay：分区的大小，1代表一天分一个，如果超过结束时间则循环写入

5.4. MyCat全局表的概念

对于数据量不大的基础配置表就没必要横向拆分

<table name="province_info" dataNode="dn213,dn214"  type="global"/>

5.5. MyCat子表管理

比如我们的订单信息，一般分为订单info表，订单item表，这两个表即便是按照一样的分区规则，也有可能到导致数据去到不同库，这个时候就会导致跨库

# 创建两个关联表
CREATE TABLE `order_info` (
  `id` int(11) DEFAULT NULL,
  `order_total` decimal(10,2) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `order_item` (
  `id` int(11) DEFAULT NULL,
  `order_id` int(11) DEFAULT NULL,
  `product_name` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
# 修改schema
<table name="order_info" dataNode="dn213,dn214" rule="mod-long">
		<childTable name="order_item" joinKey="order_id" parentKey="id"/>
</table>

6. MyCat安全机制

6.1. 用户权限的配置

vi server.xml
<user name="customer">
  <property name="password">123456</property>
  <property name="schemas">user_module</property>
  <property name="readOnly">true</property>
  <property name="benchmark">1</property>
</user>
# readOnly只读设置
# benchmark：当链接达到这里设置的值就拒绝访问，0或不设置就是不拒绝

schema中的表的操作权限

<user name="mycat" defaultAccount="true">
    <property name="password">123456</property>
    <property name="schemas">user_module</property>

    <!-- 表级 DML 权限设置 -->
    <privileges check="true">
    <schema name="user_module" dml="1111" >
        <table name="province_info" dml="1110"></table>
        <table name="order_info" dml="1101"></table>
    </schema>
    </privileges>
</user>
# insert(0/1),update(0/1),select(0/1),delete(0/1) 基于schema下的表的具体权限

6.2. 黑白名单

# 先设置白名单
<firewall>
    <whitehost>
      	<host host="192.168.0.213" user="mycat"/>
      	<host host="192.168.0.214" user="customer"/>
    </whitehost>
</firewall>
# 黑名单
<firewall>
    <whitehost>
      	<host host="192.168.0.213" user="mycat"/>
    </whitehost>
    <blacklist check="true">
    		<property name="deleteAllow">false</property>
    </blacklist>
</firewall>
# 黑名单的权限配置项,是允许用户进行操作
selectAllow true/false
deleteAllow true/false
updateAllow true/false
insertAllow true/false

7. MyCat如何进行集群操作

MyCat对于每个数据节点都可以实现HA和负载均衡，所有数据节点形成了一个分布式的数据库

如果MyCat作为一个中间层挂了怎么办？

如果要对MyCat进行集群化：MyCat是不是无状态的节点？

Nginx/HAProxy/Lvs/SLB + MyCat

如果多个MyCat，你的配置如何同时更新：zookeeper帮助我们进行配置的统一管理

# 1.修改conf下的myid.properties
loadZk=true
zkURL=192.168.0.215:2181
clusterId=mycat-cluster-1
myid=mycat_fz_01
clusterSize=2
clusterNodes=mycat_fz_01,mycat_fz_02
#server  booster  ;   booster install on db same server,will reset all minCon to 2
type=server
boosterDataHosts=dataHost1

# 2.将之前单机的配置 server.xml,schema.xml,rule.xml,autopartition-long.txt
# 将这些修改后的配置文件传输到mycat/conf/zkconf目录下来做上传使用

# 3.执行zookeeper配置的同步脚本，在mycat/bin目录下
./init_zk_data.sh
# 报错
-bash: ./init_zk_data.sh: /bin/bash^M: bad interpreter: No such file or directory
# 修改一下命令
sed -i 's/\r$//' init_zk_data.sh
开 端
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据切分整合？有章法！
03-02
《MySQL性能调优与架构设计》第14.5节“数据切分及整合方案”14.5 数据切分及整合方案通过前面的章节，已经清楚了通过数据库的数据切分可以极大地提高系统的扩展性。但是，数据库中的数据经过垂直和（或）水平切分...
实现数据库水平切分的两个思路
01-19
通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。 水平切分数据库：可以降低单台机器的负载，同时最大限度的降低了宕机造成的损失； 负载均衡策略：可以降低单台机器的访问负载，降低...
rule function [ rang-long ] partition size : 3
D的博客
06-29 303
👉 测试 MyCat 使用，配置如下 ❓ 问题： 👉 解决 所以这里我们只需要删除两个即可
数据分割与处理
weixin_44540140的博客
04-28 4214
开发工具与关键技术：VS C# 作者：宋永烨 撰写时间：2019/4/23 数据上到控制器后,当用户需要保存时,需要将数据保存到数据库或指定的文件夹内,而由于数据显示时需要放在一起(指文档上传后的显示),但保存时需要分开储存,所以需要将上传后的数据进行分割,然后处理,只有将文件处理好,才能将它准确的保存到指定的地址 一、数据分割 分割前先判断数据是否为空，防止保存了空的数据 对url编...
数据切分
不务正业随手记
10-25 943
何为数据切分？ 简单来说，就是通过某种特定的条件，将存放在同一个数据库中的数据分散存放到多个数据库上面，已达到分散单台设备负载的效果 数据切分（sharding）根据其切分规则类型，可以分为两种切分模式。一种是按照不同的表来切分到不同的数据库，这种切分被称为垂直切分；另一种根据表中数据的逻辑关系，将同一个表中的数据切分到多台数据库上，这种称为水平切分 垂直切分的最大特点就是规则简单，实施起来方便，...
轨迹预处理（轨迹分段）
热门推荐
shine302的博客
04-09 1万+
在轨迹聚类，分类之前，我们通常要将轨迹分段。第一种轨迹分段方法是利用“时间间隔”分段。具体来说，如果两个轨迹点之间的时间差较大，则进行分段；另外一种则是按照时间段将轨迹分段。第二种方法是基于轨迹的形状。具体来说，基于轨迹点方向的角度变化大小分段，如果变化超过一定的阈值，则分段；另外一种方法“线简化”算法。类似轨迹压缩算法，轨迹压缩点为分段点。第三种方法是基于语义信息，基于停留点分段。还有一种是基于...
HBase数据模型解析和基本的表设计分析
02-24
本文来自于网络，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。最近在学习HBase的使用，并仔细阅读...
MySQL冗余数据的三种方案
07-03
• 使用水平切分来降低单库数据量 • 使用数据冗余的反范式设计来满足不同维度的查询需求 • 使用服务同步双写法能够很容易的实现数据冗余 • 为了降低时延，可以优化为服务异步双写法 • 为了屏蔽“冗余数据”对...
数据库分库分表方案，总结的非常好！
最新发布
架构精进之路
10-08 706
hello，大家好，我是张张，「架构精进之路」公号作者。一、数据切分介绍关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。数据库分布式核心内容就是数据切分（Sharding），以及切分...
MySQL Sharding详解
weixin_30673715的博客
05-04 329
转自(http://blog.sina.com.cn/s/blog_821512b50101hyc1.html) MySQLSharding详解 一 背景 我们知道，当数据库中的数据量越来越大时，不论是读还是写，压力都会变得越来越大。采用MySQL Replication多master多slave方案，在上层做负载均衡，虽然能够一定程...
数据库拆分方案避免数据热点和迁移
GeorgeYoung的专栏
08-31 869
数据库拆分方案避免数据热点和迁移
海量数据切分方案
程序员老猫
12-13 486
背景 当今社会是一个信息大爆炸的社会，大家都在用都在用各种应用软件，也因此产生了大量的数据，企业把这些数据当做宝贝，然而这些被视为宝贝的数据往往是我们技术人员的烦恼，这些海量的数据存储和访问成为了系统设计与使用的瓶颈，而这些数据往往存储在数据库中，然后传统的数据库又是存在不足的。单个数据库是存在性能瓶颈的，并且扩展起来十分困难，在当今这个大数据的时代，我们就必须要解决这样的问题。如果单机数据库易于扩展，数据可切分，就可以避免这些问题，但是当前的这些数据库厂商，包括开源的数据库MySQL在内，提供这些服务都是
大数据拆分处理方式
weixin_30458043的博客
03-03 458
思路： 1：参考分页方式将数据拆成指定大小线程数 2：在每个独立的线程中去读取数据并处理数据 步骤一实现 public class IndexIntiTools { public static AtomicInteger runflag=new AtomicInteger(); //用于测试 public static...
大数据分库、分表设计（mysql）
分开_旅行的博客
09-16 5875
1.应用场景：                      使用mysql数据库做查询，当数据量超过200w时，查询数度受到限制，此时为了避开这一瓶颈，我们采取分库分表的数据库设计思想，将数据按照一定规律保存至数据库，常用的方式如下：                     1.1使用时间作为依据分库/分表                      例如，我们可以将数据按照月份保存在表中，例如
matlab数据切分
08-30
在Matlab中，可以使用函数来对数据进行切分。首先，需要指定待切分的文件路径，例如'C:/Users/Louise喵/Desktop/dataFOV20.txt'。然后调用splitFile函数，并将文件路径作为输入参数传递给该函数。调用splitFile函数...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值