mysql分库分表篇

最新推荐文章于 2024-06-02 14:22:39 发布
最新推荐文章于 2024-06-02 14:22:39 发布
阅读量2.3k 收藏 15
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37700260/article/details/107096758
版权

1. 分库分表介绍

1. 使用背景

  • 当表的数量达到几百上千张表时， 众多的业务模块都访问这个数据库， 压力会非常的大， 考虑对其进行分库

  • 当表的数据达到几千万级别， 在做很多操作的时候比较吃力， 考虑对其进行分库或者分表

2. 数据切分方案

数据气氛根据其切分规则的类型， 可以分为两种切分模式：

  • 垂直切分：按照业务模块进行切分， 将不同模块的表切分到不同的数据库中。

  • 水平切分：将一张大表按照一定的切分规则， 按照行切分成不同的表或者切分到不同的库中。

水平切分的原则：

  • 按照ID取模：对ID进行取模， 余数决定该行数据切分到哪个表或者库中

  • 按照日期：按照年月日， 将数据切分到不同的表或者库中

  • 按照范围：可以对某一列按照范围进行切分， 不同的范围切分到不同的表或者数据库中

3. 切分的原则

  • 第一：能不切分尽量不要切分

  • 第二：如果要切分一定要选择合适的切片规则， 提前规划好

  • 第三：数据切分尽量通过数据冗余或者表分组来降低扩库join的可能

  • 第四：由于数据库中间件对数据join实现的优劣难以把握， 而且实现高性能难度极大， 业务读取尽量少使用多表join

4. 分库分表需要解决的问题

1. 分布式事务的问题

强一直性事务

最终一致性事务

2. 分布式主键ID问题

  • Redis incr命令

  • 数据生成主键

  • UUID

  • snowflake算法

3. 跨库join问题

  • 通过业务分析， 将不同的join查询拆分成多个select

  • 建立全局表

  • 冗余字段， 避免跨库查询

  • E-R分片（将有ER关系的记录都存储在一个库中）

  • 最多支持跨两张表跨库的join

4. 跨库count， order by， group by问题

5. 分库分表实现技术

  • 阿里的TDDL， Cobar

  • 基于阿里Cobar开发的mycat

  • 当当网的sharding-jdbc

2. mycat介绍

1. 什么是mycat？

Mycat数据库分库分表中间件

活跃的、性能好的开源数据库中间件！

一个彻底开源的，面向企业应用开发的大数据库集群

支持事务、ACID、可以替代MySQL的加强版数据库

一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群

一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品

2. Mycat架构

3. mycat的关键特性

支持SQL92标准

支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法

遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。

基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。

支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster

基于Nio实现，有效管理线程，解决高并发问题。

支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。

支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。

支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。

支持多租户方案。

支持分布式事务（弱xa）。

支持XA分布式事务（1.6.5）。

支持全局序列号，解决分布式下的主键生成问题。

分片规则丰富，插件化开发，易于扩展。

强大的web，命令行监控。

支持前端作为MySQL通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。

支持密码加密

支持服务降级

支持IP白名单

支持SQL黑名单、sql注入攻击拦截

支持prepare预编译指令（1.6）

支持非堆内存(Direct Memory)聚合计算（1.6）

支持PostgreSQL的native协议（1.6）

支持mysql和oracle存储过程，out参数、多结果集返回（1.6）

支持zookeeper协调主从切换、zk序列、配置zk化（1.6）

支持库内分表（1.6）

集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。

4. mycat的原理

Mycat 的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了 一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库， 并将返回的结果做适当的处理，最终再返回给用户。

3. mycat中的概念

1. 数据库中间件

前面讲了 Mycat 是一个开源的分布式数据库系统，但是由于真正的数据库需要存储引擎，而 Mycat 并没有 存储引擎，所以并不是完全意义的分布式数据库系统。那么 Mycat 是什么？Mycat 是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服务。由于前面讲的对数据进行分片处理之后，从原有的一个库，被切分为多个分片数据库，所有的分片数据库集群构 成了整个完整的数据库存储。

如上图所表示，数据被分到多个分片数据库后，应用如果需要读取数据，就要需要处理多个数据源的数据。如果没有数据库中间件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处理， 原本该是专注于业务的应用，将会花大量的工作来处理分片后的问题，最重要的是每个应用处理将是完全的重复 造轮子。

所以有了数据库中间件，应用只需要集中与业务处理，大量的通用的数据聚合，事务，数据源切换都由中间 件来处理，中间件的性能与处理能力将直接决定应用的读写性能，所以一款好的数据库中间件至关重要。

2. 逻辑库（schema）

前面一节讲了数据库中间件，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道 数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

在云计算时代，数据库中间件可以以多租户的形式给一个或多个应用提供服务，每个应用访问的可能是一个 独立或者是共享的物理库，常见的如阿里云数据库服务器 RDS。

4. mycat的安装

注意：需要先安装jdk

  1. 下载mycat

wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-
linux.tar.gz

  1. 解压缩

tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

  1. 启动mycat

- 启动命令:./mycat start
- 停止命令:./mycat stop
- 重启命令:./mycat restart - 查看状态:./mycat status

  1. 访问mycat

使用mysql的客户端直接连接mycat服务。默认服务端口为【8066】

5. mycat分片配置

1. 配置schema.xml

schema.xml介绍 schema.xml作为Mycat中重要的配置文件之一，管理着Mycat的逻辑库、表、分片规则、DataNode以及

DataHost之间的映射关系。弄懂这些配置，是正确使用Mycat的前提。

schema 标签用于定义MyCat实例中的逻辑库 Table 标签定义了MyCat中的逻辑表 dataNode 标签定义了MyCat中的数据节点，也就是我们通常说所的数据分片。dataHost标签在mycat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置 和心跳语句。

schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"> <!-- auto sharding by id (long) -->
<table name="item" dataNode="dn1,dn2,dn3" rule="mod-long" /> <!-- 一个库中拆成多个表 -->
        <table name="user" dataNode="dn1" rule="mod-long" subTables="user$1-3" />
    </schema>
    <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
        /> -->
    <dataNode name="dn1" dataHost="localhost1" database="db1" />
    <dataNode name="dn2" dataHost="localhost1" database="db2" />
    <dataNode name="dn3" dataHost="localhost1" database="db3" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"
 slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.10.135:3306" user="root"
                   password="111111" >
        </writeHost>
    </dataHost>
</mycat:schema>

2. 配置server.xml

server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。

Server.xml配置

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
     <system>
          <property name="defaultSqlParser">druidparser</property>
     </system>
     <user name="mycat">
          <property name="password">mycat</property>
          <property name="schemas">TESTDB</property>
     </user>
</mycat:server>

3. 配置rule.xml

配置rule.xml

rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法，或者对 表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可 以按照需求添加tableRule和function。

此配置文件可以不用修改，使用默认即可。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat=”http://io.mycat/“ >
    <tableRule name="sharding-by-intfile">
       <rule>
           <columns>sharding_id</columns>
           <algorithm>hash-int</algorithm>
       </rule&g
最低0.47元/天 解锁文章
故事凌
关注
  • 1
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Mysql分库分表
记录各种Bug解决案例及日常学习内容
04-08 1494
Mysql分库分表 数据库拆分主要指分库分表，其目的主要是分散数据库压力，达到横向扩展，满足均衡访问等。 文章目录Mysql分库分表一、Mysql分表分库1.垂直拆分2.水平拆分二、如何分表分库1.常用数据库中间件2.分表分库策略三.Shadingjdbc整合1.Maven依赖2.相关配置a.整合分表b.整合分表四、分表分库语句查询原理1.查询语句条件后面带上分片字段2.查询语句条件后面没有带上分片字段3.分页查询，查询条件且没有带上分片字段4.排序查询，查询条件且没有带上分片字段 一、Mysql分表分
mysql分库分区分表
阿东的博客
06-12 7143
1.分库分区分表概念分区    就是把一张表的数据分成N个区块，在逻辑上看最终只是一张表，但底层是由N个物理区块组成的分表    就是把一张数据量很大的表按一定的规则分解成N个具有独立存储空间的实体表。系统读写时需要根据定义好的规则得到对应的字表明，然后操作它。表名可以按照某种业务hash进行映射。分库    一旦分表，一个库中的表会越来越多2.实现    2.1分区的实现方式（简单）    my...
MySQL分库分表全攻略：从小白到大神的进阶指南！
孤芳不自赏
06-08 2221
这篇文章你值得一阅！讲技术我觉得应该让外行也能看明白，而不是一堆专业术语堆砌，像在读天书一般，到最后感觉云里雾里。
MYSQL分库分表---配置
m0_62901004的博客
03-30 672
解决高并发，和数据量大的问题。将一个库的数据拆分到相同的库中：将一个表的数据放到多个表中垂直分库：以表为依据，根据业务将不同表拆分到不同库中。特点：①每个库的表结构都不一样；②每个库的数据也不一样；③所有库的并集是全量数据。垂直分表：以字段为依据，根据字段属性将不同字段拆分到不同表中。特点：①每个表的结构都不一样；②每个表的数据也不一样，一般通过一列（主键/外键）关联；③所有表的并集是全量数据。两张表以主键id关联。
MySQL篇：分库分表
最新发布
viperd的博客
06-02 387
分库和分表有两种模式，垂直和水平。垂直分库：电商数据库拆分为用户、订单、商品、交易等数据库。水平分库：用户数据库，拆分为多个，比如User_DB_0 - x。垂直分表：将数据库表按照业务维度进行拆分，将不常用的信息放到一个扩展表。水平分表：将用户表水平拆分，展现形式就是 User_Table_0 - x。
mysql——分库分表
l_dq223020的博客
09-19 144
分库分表##介绍：问题分析：随着互联网及移动互联网的发展，应用系统的数据量也是指数式增长，若采用当数据库进行数据存储，存在以下性能瓶颈：1、IO瓶颈：热点数据太多，数据缓存不足，产生大量磁盘IO，效率较低。请求数据太多，带宽不够，网络IO瓶颈。2、CPU瓶颈：排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。分库分表的中心思想都是将数据分散存储，使得单一数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。
MySQL 分库分表原理和详细实现过程，看完就懂了
weixin_40648256的博客
05-05 4113
MySQL 分库分表是指将一张表的数据分散到多个库或多个表中，从而减轻单个数据库或表的压力，达到水平扩展的目的。MySQL 分库分表是一种常用的扩展数据库性能的方法，但是需要根据业务需求选择合适的分库分表策略，并且实现过程较为复杂，需要开发和维护成本。因此，在实际应用中需要权衡利弊，慎重选择。
Mysql --分表、分库、分区（横向纵向、分区列）的区别与详解
S_ZaiJiangHu的博客
07-20 4446
mysql数据库中的数据是以文件的形式存储在磁盘介质上，具体存储目录，请查阅“my.cnf”中的“datadir”属性。一张数据表主要对应着三个文件，一个是FRM存放表结构的，一个是MYD存放表数据的，一个是MYI存表索引的。如果一张表的数据量太大的话，那么MYD、MYI就会变的很大，查找数据就会变得很慢，这个时候可以利用mysql的分区功能，在物理上将这一张表对应的三个文件，分割成许多个小块，这样做的话，我们查找一条数据时，就不用全部查找了，只要知道这条数据在哪一块，然后在那一块找就行了。如果表的数据太大
MySQL分库分表篇相关代码
03-12
MySQL分库分表篇相关代码
MySQL分库分表技术
12-11
**MySQL分库分表技术** 随着互联网业务的快速发展，数据量呈现爆炸性增长，单个数据库的性能瓶颈问题日益突出。在这种背景下，MySQL的分库分表技术应运而生，旨在解决高并发、大数据量场景下的性能挑战。本篇将深入...
Mysql超详细知识梳理-分库分表篇-思维导图.xmind
02-21
对应企业开发的Mysql知识梳理
mysql分表创建
04-26
NULL 博文链接：https://gaochunhu.iteye.com/blog/2360088
mysql运维篇，mycat分库分表
05-12
这里我们将深入探讨MySQL的主从复制、日志解析以及Mycat分库分表的相关知识。 首先，MySQL的主从复制是实现数据冗余和故障恢复的关键技术。主从复制通过将主服务器上的数据更改同步到从服务器，确保了数据的一致性...
Python与MySQL分表分库实战
03-21
1. **设计合理的分库分表策略**：根据业务需求和数据分布特点，选择合适的分库分表策略，如哈希分片、范围分片或复合键分片。 2. **数据库连接管理**：Python中，可以使用`with`语句管理数据库连接，确保资源及时...
分库分表(以MySQL为例说明)
x_u_xiang的博客
02-23 537
分页时，根据时间排序，将最后一条数据的时间传到分页参数里，然后在每个节点查询大于这个时间的数据，然后在业务层面对数据聚合汇总，做内存排序后返回。超5000万数据，B+树深度可能会到4层，B+树越深，查找数据耗时越长。③一致性hash：使用hash取模方式，前期如果未做好规划，后期还是需要扩容二次分表，表数量需要增加，所以hash值需要重新计算，这时候就需要迁移数据了。未分库分表前，单库单表使用本地事务就好了，但是分库分表后，数据落到了不同库表中，传统事务处理方式就不行了，就要用到分布式事务。
MySQL数据库分区分表配置以及原理、特点、概念、区别详解
热门推荐
BLXH-AS
02-12 1万+
一、为什么要分表和分区？我们的数据库数据越来越大，随之而来的是单个表中数据太多。以至于查询速度变慢，而且由于表的锁机制导致应用操作也受到严重影响，出现了数据库性能瓶颈。mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。当出现这种情况时，我们可以考虑...
【MySQL】MySQL分库分表详解[通俗易懂]
Eucalyptus's blog
11-17 4644
在互联网还未崛起的时代,我们的传统应用都有这样一个特点：访问量、数据量都比较小，单库单表都完全可以支撑整个业务。随着互联网的发展和用户规模的迅速扩大,对系统的要求也越来越高。因此传统的MySQL单库单表架构的性能问题就暴露出来了。
mysql分库分表配置命令_mysql分库分表中间件Heisenberg
weixin_34961316的博客
02-08 262
"trans_shard">"trans_online, trans_content, trans_tb "dataNode="transDN$0-9"rule="rule1"/>trans_shard提供的schema,对应于server.xml中的名字下面会有多个需要分库的表，"trans_online"dataNode="transDN$0-9"rule="rule1"/&gt...
mysql存储过程--创建表以及根据已有的表进行分表分库
qiaziliping的博客
05-04 3796
创建多表的存储过程 /* -----------------------t_user分表SQL--------------------------------*/ drop PROCEDURE if exists import_user_data; create PROCEDURE import_user_data(IN table_num int) -- table_num 表示有多少张表...
Mycat分库分表配置详解
"这篇内容主要介绍了如何使用Mycat实现MySQL的分库分表操作，包括Mycat的安装、配置以及在SpringBoot项目中的集成。重点在于Mycat的schema.xml配置文件的解析和理解，包括逻辑库、数据节点、分片规则等关键概念。" ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值