2019年09月_每天都要进步一点点

原创 MyCat的zookeeper集群模式总结

一、简介本文将介绍ZooKeeper部署管理Mycat，ZK管理mycat的server.xml、schema.xml、rule.xml等一系列配置，ZK修改配置，同一个集群中mycat节点配置自动更新，下面就总结一下如何搭建ZK集群环境管理MyCat配置。二、集群搭建【a】环境准备环境准备虚拟机：CentOS7 jdk版本：1.8.0_161 zookeeper版本：zo...

2019-09-30 20:44:03 954

原创 Mycat跨库join实现方式总结

一、简介MyCAT 支持跨库表 Join，目前版本仅支持跨库两表 Join。虽然如此，已经能够满足我们大部分的业务场景,毕竟join多表的话，性能也存在一些问题。目前主要方式有： catlet、shareJoin、全局表、ER分片四种方式，本文将主要介绍catlet、全局表以及ER分片方式进行跨库join。二、catlet跨库join【a】创建数据库和表create databa...

2019-09-27 20:15:25 4596 1

原创 MyCat基于MySQL实现主从切换

一、简介主从切换：顾名思义，就是MySQL写节点出现宕机后，会自动切换到备用节点（也就是把从机也配置成writeHost），这样的话，第一个writeHost故障后，会自动切换到第二个，第二个故障后自动切换到第三个....以此类推；如果当是1主3从模式，可以把第1个从节点配置为writeHost2，第2个和第3个从节点则配置为writeHost1的readHost；一般情况下，都会结合...

2019-09-27 20:02:29 1326

原创 MyCat基于MySQL实现读写分离

一、简介读写分离：顾名思义，就是将插入、更新、删除等事务性的操作分发到主数据库master上，而将读请求分发到从数据库slave上，利用mysql主从同步，从数据库服务器将同步更新本机数据，这样就保证了两个数据库中数据一致性。读写分离有几种实现方式，可以在应用层配置多个数据源，根据业务需求访问不同的数据，指定对应的策略，也可以使用动态切换数据源方式实现，也可以借助数据库中间件的方式实现，m...

2019-09-25 21:14:14 456

原创 MySql 5.7.2搭建主从(master/slave)复制

一、简介在实际项目中，很多瓶颈都出现在数据库这个环节，所以如果还是由单台数据库服务器进行服务的话，性能可能不会有很大的提升效果，通常我们会搭建主从服务，然后配合读写分离，读服务器就只负责读操作，写服务器负责插入、更新、删除操作，这样可能有效地分摊单台服务器的压力。本文主要讲解mysql主从复制，主从复制通常有一主一从，一主多从等，这里只介绍最简单的一主一从同步。二、主从复制原理主mys...

2019-09-22 16:23:11 790 1

原创 MyCat之全局表和ER表

一、全局表全局表：如果项目中有一些数据类似数据字段，这种数据一般数据量不会很大，而且改动也比较少，通常这种表可以不需要进行拆分，把它当做全局表进行处理，每个分片都创建一张相同的表，在所有的分片上都保存一份数据。在进行插入、更新、删除操作时，会将sql语句发送到所有分片上进行执行，在进行查询时，也会把sql发送到各个节点。这样避免了跨库JOIN操作，直接与本分片上的全局表进行聚合操作。特性：...

2019-09-16 20:33:18 2797

原创 MyCat分片规则之固定hash分片

一、简介实现方式：该算法类似于十进制的求模运算，但是为二进制的操作，例如，取 id 的二进制低 10 位与 1111111111 进行 & 运算。优点：较灵活，可以均匀分配也可以非均匀分配，各节点的分配比例和容量大小由partitionCount 和 partitionLength两个参数决定缺点：不方便扩展；注意：partitionCount 和partitionL...

2019-09-11 15:40:46 1274

原创 MyCat分片规则之字符串hash解析算法分片

一、简介字符串hash解析分片，其实就是根据配置的hash预算位规则，将截取的字符串进行hash计算后，得到的int数值即为datanode index(分片节点索引，从0开始)。二、字符串hash分片实现步骤：【a】创建数据库和表create database stringhash01;create table user(id bigint not null prim...

2019-09-11 15:33:49 1620

原创 MyCat分片规则之一致性hash分片

一、简介实现方式：一致性hash分片，利用一个分片节点对应一个或者多个虚拟hash桶的思想，，尽可能减少分片扩展时的数据迁移。优点：有效解决了分布式数据库的扩容问题。缺点：在横向扩展的时候，需要迁移部分数据；由于虚拟桶倍数与分片节点数都必须是正整数，而且要服从"虚拟桶倍数×分片节点数=设计极限"，因此在横向扩容的过程中，增加分片节点并不是一台一台地加上去的，而是以一种因式分解的方...

2019-09-11 15:21:59 1843

原创 MyCat分片规则之按自然月分片

一、简介一般来说，按自然月份来进行数据分片的规则比较适用于商城系统订单查询，类似最近三个月、最近半年等查询，这样的数据放在一个分片就省去了MyCat进行数据合并的时间, 当然按月分片之后每个自然月分片的数据量不要过大。实现方式：将数据按一年中的月份进行分片，每个自然月对应一个分片。优点：可以自由地将每个月的数据分开保存。缺点：由于数据是连续的，其他自然月分片中的资源无法被充分利用。...

2019-09-11 09:45:48 1268 2

原创 MyCat分片规则之ASCII码取模范围分片

一、简介上一篇文章介绍了如何在MyCat中实现取模范围分片，其实还有一个分片方式与它很相似，那就是本节讲解的ASCII码取模范围分片。实现方式：与取模范围算法类似，支持数值、符号、字母取模。根据配置的分片字段，截取长度为 prefixLength 的子串，在对子串中每一个字符的 ASCII 码求和，然后对各个字符的ASCII 码求和值进行取模运算（sum % patternValue），...

2019-09-11 09:29:18 664

原创 MyCat分片规则之取模范围分片

一、简介本文介绍另外一种分片规则 --- 取模范围分片，先进行取模运算再根据求余结果范围进行分片。实现方式：该种分片规则首先根据配置的分片字段，与配置的取模基数进行求余操作，根据求余的结果，然后判断在哪一个分片范围内，由此对应到具体某个数据分片上。优点：可以自由地决定取模后数据的节点分布缺点：dataNode 划分节点是事先建好的，扩展比较麻烦。二、取模范围分片下面通过...

2019-09-09 20:10:28 1150

原创 MyCat分片规则之程序指定分片

一、简介实现方式：根据指定的分片字段以及分片规则，截取分片字段的字符串子串，根据字符串的子串（必须是数字）计算分区号（由调用方传递参数，显示指定分区号），例如，id=0-zhangsan，其中 id 是从 startIndex = 0，size=1，即截取的子串是0（数字），0 就是获取的分区，如果大于分区数，则分配到 defaultPartition 分区中。优点：可以在运行阶段...

2019-09-05 20:17:44 354

原创 MyCat分片规则之自定义范围分片

一、实现方式实现方式：范围分片，就是我们自己根据某个字段的数值范围来确定这些数据到底存放在哪一个分片上，不过需要我们提前规划好分片字段某个范围属于哪个分片。切分规则根据文件(autopartition-long.txt)配置的范围来进行切片，根据配置的分片字段取值范围，然后把这一范围的所有数据都插入到该分片。举个例子：比如将id在0-500W的数据分片在第一个节点上面，将id在500W-1...

2019-09-04 21:24:09 2298 3

原创 MyCat分片规则之取模分片

一、简介除了上一章总结的枚举分片之外，MyCat中还有一种比较常见的分片 - 取模分片规则，本节将总结如何实现取模分片。二、实现方式实现方式：切分规则根据配置中输入的数值n。此种分片规则将数据分成n份（通常dn节点也为n），从而将数据均匀的分布于各个节点上。优点：可以很好的分散数据库写的压力，比较适合于单点查询的情景。缺点：不方便扩展；当出现了范围查询，此时需要MyCat去...

2019-09-02 21:16:19 829

原创 MyCat分片规则之枚举分片

一、简介在MyCat中，有许多分片规则，比如枚举分片、取模分片、范围分片、一致性hash分片等等，每一种分片规则都需要根据项目中具体的业务已经数据量来决定，所以说没有哪一种分片规则很好，哪一种分片规则就不好，都是依业务来定。本文将对其中一种，也是比较简答的分片规则 - 枚举分片进行简单的介绍，并通过一个示例说明其用法以及规则。二、实现方式按照partition-hash-int-enu...

2019-09-01 20:18:39 701

weixiaohuai的博客