Mycat水平分片策略（水平分表拆分）

最新推荐文章于 2024-08-13 08:51:22 发布
最新推荐文章于 2024-08-13 08:51:22 发布
阅读量3.3k 收藏 4
点赞数 3
分类专栏： # 数据库mysql oracle mycat 读写分离
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baiyan3212/article/details/90904365
版权

一、分片枚举算法

可以实现按照地区进行分表

根据不同的枚举（常量）进行分表存储

1.mysql中建立3个数据库分别为user_db1 user_db2 user_db3

2.在3个数据库中建立3个一样的数据表 order_info  order_info表中有字段name

3.配置mycat环境

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <!-- TESTDB1 是mycat的逻辑库名称，链接需要用的 -->
    <schema name="mycat_testdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
		<table name="order_info"  dataNode="dn1,dn2,dn3" rule="role2" />
	</schema>
        <!-- database 是MySQL数据库的库名 -->
	<dataNode name="dn1" dataHost="localhost1" database="user_db1" />
	<dataNode name="dn2" dataHost="localhost1" database="user_db2" />
	<dataNode name="dn3" dataHost="localhost1" database="user_db3" />
    <!--
    dataNode节点中各属性说明：
    name：指定逻辑数据节点名称；
    dataHost：指定逻辑数据节点物理主机节点名称；
    database：指定物理主机节点上。如果一个节点上有多个库，可使用表达式db$0-99，     表示指定0-99这100个数据库；

    dataHost 节点中各属性说明：
        name：物理主机节点名称；
        maxCon：指定物理主机服务最大支持1000个连接；
        minCon：指定物理主机服务最小保持10个连接；
        writeType：指定写入类型；
            0，只在writeHost节点写入；
            1，在所有节点都写入。慎重开启，多节点写入顺序为默认写入根据配置顺序，第一个挂掉切换另一个；
        dbType：指定数据库类型；
        dbDriver：指定数据库驱动；
        balance：指定物理主机服务的负载模式。
            0，不开启读写分离机制；
            1，全部的readHost与stand by writeHost参与select语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡；
            2，所有的readHost与writeHost都参与select语句的负载均衡，也就是说，当系统的写操作压力不大的情况下，所有主机都可以承担负载均衡；
-->
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- 可以配置多个主从 -->
        <writeHost host="hostM1" url="192.168.3.60:3009" user="root" password="root">
            <!-- 可以配置多个从库 -->
            <readHost host="hostS2" url="192.168.3.60:3008" user="root" password="root" />
        </writeHost>
    </dataHost>
</mycat:schema>

指定表名为order_info 指定数据库集群 指定分片规则 为role2

rule.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License");
    - you may not use this file except in compliance with the License. - You
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
    - - Unless required by applicable law or agreed to in writing, software -
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
    License for the specific language governing permissions and - limitations
    under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
 
    <tableRule name="role2">
             <rule>
                  <columns>name</columns>
                <algorithm>hash-int</algorithm>
                </rule>
    </tableRule>
	
	<function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
		<property name="mapFile">partition-hash-int.txt</property>
		<property name="type">1</property>
		<property name="defaultNode">1</property>
	</function>
	
</mycat:rule>

<columns>name</columns>    指定表中字段 该字段决定存入哪个库
<algorithm>hash-int</algorithm>   规则方法

class="io.mycat.route.function.PartitionByFileMap" 采用分片枚举算法

<property name="mapFile">partition-hash-int.txt</property>  指定枚举文件

wuhan=0
shanghai=1
suzhou=2

<property name="type">1</property> 表示枚举不为数值

<property name="defaultNode">1</property> 如果不在枚举中则默认存入节点1

4.启动mycat

练级mycat数据库 添加以下3条数据

同时mycat虚拟数据库中查询 可以将数据全部查询出来 包括分页 模糊查询等都支持

二、分片求模算法

根据id字段取模集群台数 得出的结果分别分配给不同节点。节点从0开始

比如1%3=1 分配到节点1  也就是user_db2

3%3 =0 分配到节点0  也就是user_db1

修改rule.xml文件 添加role1取模规则

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License");
    - you may not use this file except in compliance with the License. - You
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
    - - Unless required by applicable law or agreed to in writing, software -
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
    License for the specific language governing permissions and - limitations
    under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
 
    <tableRule name="role2">
		<rule>
			<columns>name</columns>
			<algorithm>hash-int</algorithm>
		</rule>
    </tableRule>
	
	<tableRule name="role1">
        <rule>
            <columns>id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>
	
	<function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
		<property name="mapFile">partition-hash-int.txt</property>
		<property name="type">1</property>
		<property name="defaultNode">1</property>
	</function>
 
    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!--指定分片数量，不可以被更改-->
        <property name="count">3</property>
	</function>
	
</mycat:rule>

这里需要注意的是 tableRule 需要放一起 function也需要放一起 不然启动时候会出现报错

schema.xml文件

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <!-- TESTDB1 是mycat的逻辑库名称，链接需要用的 -->
    <schema name="mycat_testdb" checkSQLschema="false" sqlMaxLimit="100">
	<table name="order_info"  dataNode="dn1,dn2,dn3" rule="role2" />
	<table name="user_info"  dataNode="dn1,dn2,dn3" rule="role1" /> 
    </schema>
        <!-- database 是MySQL数据库的库名 -->
    <dataNode name="dn1" dataHost="localhost1" database="user_db1" />
	<dataNode name="dn2" dataHost="localhost1" database="user_db2" />
	<dataNode name="dn3" dataHost="localhost1" database="user_db3" />
    <!--
    dataNode节点中各属性说明：
    name：指定逻辑数据节点名称；
    dataHost：指定逻辑数据节点物理主机节点名称；
    database：指定物理主机节点上。如果一个节点上有多个库，可使用表达式db$0-99，     表示指定0-99这100个数据库；

    dataHost 节点中各属性说明：
        name：物理主机节点名称；
        maxCon：指定物理主机服务最大支持1000个连接；
        minCon：指定物理主机服务最小保持10个连接；
        writeType：指定写入类型；
            0，只在writeHost节点写入；
            1，在所有节点都写入。慎重开启，多节点写入顺序为默认写入根据配置顺序，第一个挂掉切换另一个；
        dbType：指定数据库类型；
        dbDriver：指定数据库驱动；
        balance：指定物理主机服务的负载模式。
            0，不开启读写分离机制；
            1，全部的readHost与stand by writeHost参与select语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡；
            2，所有的readHost与writeHost都参与select语句的负载均衡，也就是说，当系统的写操作压力不大的情况下，所有主机都可以承担负载均衡；
-->
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- 可以配置多个主从 -->
        <writeHost host="hostM1" url="192.168.43.66:3009" user="root" password="root">
            <!-- 可以配置多个从库 -->
            <readHost host="hostS2" url="192.168.43.66:3008" user="root" password="root" />
        </writeHost>
    </dataHost>
</mycat:schema>

添加  <table name="user_info"  dataNode="dn1,dn2,dn3" rule="role1" /> 

启动mycat  添加测试数据

踟蹰千年
关注
专栏目录
基于MYCAT简单实现数据库水平分片测试示例详解
12-30
基于MYCAT简单实现数据库水平分片测试示例详解
通过Mycat分库分表
热门推荐
King config
01-03 1万+
前言 实验环境： 系统：centos7 Mysql版本： 5.7 Mycat版本： 1.6 Mycat主机ip地址： 10.8.161.75 主机1地址： 10.8.161.185 主机2地址： 10.8.161.186 实验目标： 主1、主2实现分库分表 主1创建database1、创建table1；主2创建database2 、创建table1、table2 通过mycat实现分库分表 备注：本文略过主1和主2互为主从的搭建步骤，需要看请移步互为主从搭建步骤 ...
数据库分片
qq_38515961的博客
01-11 3137
数据分片指按照某个维度将存放在单一数据库中的数据分散的存放在多个数据库或表中以达到提升性能瓶颈以及可用性的效果。数据分片的拆分方式又分为垂直分片和水平分片。
MySQL之水平分表策略
最新发布
专注于Python编程技术的分享与交流，致力于帮助开发者提升编程技能，解决实际问题，探索Python的无限可能。
08-13 1231
水平分表是一种将数据表按一定规则拆分为多个子表的技术。每个子表存储全表数据的一部分，所有子表共同组成完整的数据集。通过这种方式，可以减小单表的数据量，提高查询和操作的性能。MySQL 水平分表策略是应对大数据量下数据库性能问题的有效手段。不同的分表策略适用于不同的业务场景，选择合适的分表策略可以大大提升数据库的性能和可扩展性。在实施水平分表时，需要综合考虑数据的分布、查询需求、系统复杂度以及未来的扩展性，才能获得最佳效果。
mycat1.6安装和水平、垂直分片
theorange_cat的博客
06-07 1594
mycat1.6安装和水平、垂直分片一、mycat1.6安装使用1、mycat1.6下载2、配置（1）、schema.xml（2）、server.xml安装使用分库全局表枚举取模 已经是mycat安装使用，这边默认都有了MySQL和java的安装使用经验了 关于mycat介绍，参考：https://zhuanlan.zhihu.com/p/79672894（多谢大哥） 简单来说就是在MySQL和操作人员之间，帮助操作人员对MySQL数据库中的数据进行分布式切分操作的中间件 mycat的官方网址：http:/
mycat分片----垂直拆分与水平拆分
weixin_45793065的博客
07-02 1935
文章目录第四章 垂直拆分——分库4.1如何划分表4.2 实现分库1、 修改 schema 配置文件2、 新增两个空白库3、 启动 Mycat4、 访问 Mycat 进行分库5、查看是否成功分库第五章 水平拆分——分表5.1 实现分表1、 选择要拆分的表2、 分表字段3、 修改配置文件 schema.xml4、 修改配置文件 rule.xml5、 在数据节点 dn2 上建 orders 表6、 重启 Mycat，让配置生效7、 访问 Mycat 实现分片8、在mycat、dn1、dn2中查看orders表数据
mycat1.6.5源码，分库分表，分布式
12-22
【标签】"分布式"、"分库分表"、"mycat"进一步强调了Mycat在分布式环境中的核心作用以及它在数据库分片和扩展性方面的优势。 【压缩包子文件的文件名称列表】"Mycat-Server-1.6.5-RELEASE"表明这是Mycat 1.6.5版本...
mycat.zip+分库分表文档
04-15
《Mycat分库分表解决方案详解》 在当今大数据时代，随着业务的快速发展和数据量的急剧增加，单机数据库往往无法满足高并发、大数据量的处理需求，因此，分库分表技术应运而生。Mycat作为一款开源的分布式数据库...
Mycat分库分表文档及demo.rar
12-02
Mycat的核心功能是实现数据库的分库分表，它能将一个大型的单体数据库拆分成多个小型的数据库集群，以达到水平扩展的目的，提高系统的并发处理能力和数据读写速度。 **1. Mycat安装配置** 在开始使用Mycat之前，...
mycat对mysql数据库进行分库分表demo-mycat-demo-parent.zip
11-06
5. **分片策略**：MyCat支持多种分片策略，如范围分片、哈希分片、列表分片等，可以根据实际业务需求选择合适的策略。 6. **事务管理**：在分布式环境下，MyCat提供了全局事务支持，保证了跨库跨表操作的事务一致性...
Mycat 数据库分库分表中间件.pdf
02-08
Mycat的核心功能是将一个大表逻辑上拆分为多个小表，分布到不同的数据库服务器上，实现水平扩展，即通过增加硬件资源来提升系统性能。这种分布式数据库解决方案可以显著改善数据库的读写速度，降低单一节点的压力，...
MyCat 分表分库 水平分片策略
小毕超博客
08-03 2251
MyCat 分表分库 水平分片策略 一、数据库分表分库策略 数据库分表分库原则遵循 垂直拆分与水平拆分垂直拆分是把不同的表拆到不同的数据库中，而水平拆分是把同一个表拆到不同的数据库中。相对于垂直拆分，水平拆分不是将表的数据做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中 的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中，主要有分表，分库两种模式该方式提高了系统的稳定性跟负载能力，但是跨库join
Mycat实现垂直拆分与水平拆分
HTZW的博客
10-22 769
垂直拆分（分库） 一个数据库由很多表的构成，每个表对应着不同的业务，垂直切分是指按照业务将表进行分类， 分布到不同 的数据库上面，这样也就将数据或者说压力分担到不同的库上面，如下图： 系统被切分成：用户、订单交易、支付几个模块。 如何划分表 一个问题：在两台主机上的两个数据库中的表，能否关联查询？ 答案：不可以关联查询。 分库的原则：有紧密关联关系的表应该在一个库里，相互没有关联关系的表可以分到不同的库里 以下4张表如何分库？ 客户表分在一个数据库，另外三张表都需要关联查询，分在另外一个
MyCat水平分片
冲出仁川，走出马德里，故事还会再继续
10-06 538
MyCat水平分片1、概述2、案例场景3、准备工作4、schema.xml配置5、server.xml的配置6、水平分片测试6.1 在MyCat数据库中执行建表语句6.2 插入数据6.3 查看各个节点的存储情况 1、概述 根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。 2、案例场景 在业务系统中, 有一张表(日志表), 业务系统每天都会产生大量的日志数据 , 单台服务器的数据存储及处理能力是有限的, 可以对数据库表进行拆分,
Mycat水平拆分之十种分片规则
weixin_30412013的博客
04-01 436
水平切分分片实现 配置schema.xml 在同一个mysql数据库中，创建了三个数据库 testdb1，testdb2，testdb3。并在每个库中都创建了user表 <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmln...
mycat-水平分片配置-最基础入门学习
小哇
03-17 227
前提，准备3至4台服务器，如果3台的话，其中一台既是mysql，也是mycat服务器 并在每台服务器上 安装好jdk1.8和mysql jdk1.8安装步骤，可查看博文https://blog.csdn.net/qq_41712271/article/details/108689414 mysql安装步骤，可查看博文，mysql的远程访问权限，最好开启，方便测试，方法自行baiduhttps://blog.csdn.net/qq_41712271/article/details/108697263 主机分
Mycat水平拆分的十种分片规则_mycat水平分片
2401_84181975的博客
04-28 627
上面columns 标识将要分片的表字段，algorithm 分片函数，其中分片函数配置中，mapFile标识配置文件名称，type默认值为0，0表示Integer，非零表示String，所有的节点配置都是从0开始，及0代表节点1。上面columns 标识将要分片的表字段，algorithm 分片函数，配置中配置了开始日期，分区天数，即默认从开始日期算起，分隔10天一个分区，还有一切特性请看源码。所有的节点配置都是从0开始，及0代表节点1，此配置非常简单，即预先制定可能的id范围到某个分片。
mycat 单库多表实现水平分片
weixin_33858336的博客
04-04 1365
环境 mycat : 192.168.126.128 root root mysql1: 192.168.126.129:3306 root lizhenghua mysql2: 192.168.126.131:3306 root lizhenghua database: zwrdb table1 : role table...
mysql数据库水平切分的实现原理解析_数据库水平切分（Mycat分片路由原理和全局序列号）...
weixin_39767121的博客
02-08 173
分片路由原理Select * from travelrecord where id in(5000001, 10000001);dn1,dn2,dn3, id=5000001这条数据在dn2上，id=10000001这条数据在dn3上。全部扫描一遍dn1 dn2 dn3，结果导致性能浪费。扫描某个片。漏掉数据的情况。总结：不能多扫===》性能不足，也不能少===》漏掉数据。Mycat使用Dru...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值