数据库中间件MyCat

最新推荐文章于 2023-07-06 22:03:14 发布

_沉浮_

最新推荐文章于 2023-07-06 22:03:14 发布

阅读量143

点赞数

本文链接：https://blog.csdn.net/su_chunlong/article/details/99903323

版权

撸了今年阿里、头条和美团的面试，我有一个重要发现.......>>>

什么是MyCat?

查看官网的介绍是这样说的

一个彻底开源的，面向企业应用开发的大数据库集群
支持事务、ACID、可以替代MySQL的加强版数据库
一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
一个新颖的数据库中间件产品

主要特性：

支持SQL92标准
支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法
遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。
基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。
支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster
基于Nio实现，有效管理线程，解决高并发问题。
支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。
支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。
支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。
支持多租户方案。
支持分布式事务（弱xa）。
支持XA分布式事务（1.6.5）。
支持全局序列号，解决分布式下的主键生成问题。
分片规则丰富，插件化开发，易于扩展。
强大的web，命令行监控。
支持前端作为MySQL通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。
支持密码加密
支持服务降级
支持IP白名单
支持SQL黑名单、sql注入攻击拦截
支持prepare预编译指令（1.6）
支持非堆内存(Direct Memory)聚合计算（1.6）
支持PostgreSQL的native协议（1.6）
支持mysql和oracle存储过程，out参数、多结果集返回（1.6）
支持zookeeper协调主从切换、zk序列、配置zk化（1.6）
支持库内分表（1.6）
集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）

下载及安装：

到官网根据系统类型进行下载：http://mycat.io/

将下载文件解压，目录如下：

各个目录简要说明：

bin：启动目录
catlet: 扩展功能
conf：配置文件目录
server.xml：是Mycat服务器参数调整和用户授权的配置文件
schema.xml：是逻辑库定义和表以及分片定义的配置文件
rule.xml：是分片规则的配置文件，分片规则的具体一些参数信息单独存放为文件，也在这个目录下，配置文件修改需要重启MyCAT
log4j.xml：日志存放在logs/log中，每天一个文件，日志的配置是在conf/log4j.xml中，根据自己的需要可以调整输出级别为debug，debug级别下，会输出更多的信息，方便排查问题
autopartition-long.txt,partition-hash-int.txt,sequence_conf.properties， sequence_db_conf.properties 分片相关的id分片规则配置文件
lib：jar包目录
logs ：日志目录

进入bin目录，通过管理员身份打开DOS窗口，分别执行命令：

mycat install

mycat start

这样就可以启动mycat了。

核心配置

server.xml : 设置账号、参数等

schema.xml : 物理数据库和数据库表的配置

rule.xml : 分片（分库分表）规则

关于配置的详细介绍可以参考 https://www.cnblogs.com/joylee/p/7513038.html 或者官网 http://www.mycat.io/document/mycat-definitive-guide.pdf

示例

首次认识mycat，最容易是从示例着手去了解，比如此次示例是结合mysql完成数据的分库分表，进行横向扩展。

首先需要准备几个mysql的服务器，通过docker构建，具体怎么可以参考网上，大致步骤如下：

1、下载mysql镜像： docker pull mysql
2、启动容器：docker run -di -p 32768:3306 --name mysql1 -e MYSQL_ROOT_PASSWORD=123456 mysql ，输入容器id
3、通过容器id进入容器，docker exec -it <id> /bin/bash
4、进入mysql：mysql -u root -p -> 123456
5、添加远程连接用户与密码：GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456';
6、权限：flush privileges;

如果不出意外则可以连接，因为我是通过本地虚拟机安装docker，默认端口192.168.99.100。现在根据下载的镜像启动3个容器，修改不同的端口。

通过客户端工具分别连接以上三个数据库，并且建表：

创建数据库：TESTDB

建表：

CREATE TABLE `employee` (
`id` int(11) NOT NULL,
`name` varchar(56) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

1、修改server.xml配置文件

<user name="root" defaultAccount="true">
       <property name="password">123456</property>

      
       <property name="schemas">TESTDB</property>
   </user>

2、修改schema.xml

<schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100">

       <table name="employee" primaryKey="ID" dataNode="dn1,dn2,dn3" rule="mod-long" />

   </schema>
   
   <dataNode name="dn1" dataHost="host1" database="TESTDB" />
   <dataNode name="dn2" dataHost="host2" database="TESTDB" />
   <dataNode name="dn3" dataHost="host3" database="TESTDB" />

   <dataHost name="host1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
       <heartbeat>select 1</heartbeat>
       <writeHost host="hostS1" url="192.168.99.100:32768" user="root" password="123456" />
   </dataHost>
   <dataHost name="host2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
       <heartbeat>select 1</heartbeat>
       <writeHost host="hostS2" url="192.168.99.100:32769" user="root" password="123456" />
   </dataHost>
   <dataHost name="host3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
       <heartbeat>select 1</heartbeat>
       <writeHost host="hostS3" url="192.168.99.100:39770" user="root" password="123456" />
   </dataHost>

3、修改rule.xml

上面<table>配置了rule="mod-long"，在rule.xml有相关的描述，修改下面参数，与上面dataNode数量对应

   <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
       
       <property name="count">3</property>
   </function>

这样mycat的配置就完成了，由于修改了配置，我们将mycat重启，进入bin，mycat restart。

测试

由于之前使用了mybatis-plus+springboot的项目，所有就用了这个：

application-mycat.properties:

mybatis-plus.mapper-locations=classpath*:com/sucl/sbmp/*/mapper/**Mapper.xml
mybatis-plus.type-aliases-package=com.sucl.sbmp.*.entity
mybatis-plus.global-config.refresh=true
#mybatis-plus.global-config.db-config.db-type=mysql
mybatis-plus.configuration.map-underscore-to-camel-case=true
mybatis-plus.configuration.cache-enabled=false


mp.datasource.driver-class-name=com.mysql.jdbc.Driver
mp.datasource.url=jdbc:mysql://localhost:8066/TESTDB?useUnicode=true&useSSL=false&characterEncoding=utf8
mp.datasource.username=root
mp.datasource.password=123456
mp.datasource.validation-query=select '1'
mp.datasource.testOnBorrow=true

实体：

@Data
public class Employee {

    @TableId(type = IdType.INPUT)
    private long id;

    @TableField(value = "name")
    private String name;
}

mapper:

public interface EmployeeMapper extends BaseMapper<Employee> {

}

service:

@Service
@Transactional
public class EmployeeServiceImpl extends ServiceImpl<EmployeeMapper,Employee> implements EmployeeService {

}

测试：

@ActiveProfiles("mycat")
@RunWith(SpringRunner.class)
@SpringBootTest
public class SbmpTest {
    @Autowired
    private EmployeeService employeeService;

    @Transactional
    @Rollback(false)
    @Test
    public void save(){
        List<Employee> employees = new ArrayList<>();
        for(int i=0;i<100;i++){
            Employee employee = new Employee();
            employee.setId(i);
            employee.setName("name"+i);
            employees.add(employee);
        }
        employeeService.saveBatch(employees);
    }

    @Test
    public void get(){
        List<Employee> employees = employeeService.list(null);
        employees.stream().forEach(System.out::println);
    }

}

分别执行两个方法，会根据id在三个数据库中分别插入数据：