MyCat数据库

一、Mycat的介绍

1、什么是MYCAT

• 一个彻底开源的，面向企业应用开发的大数据库集群
• 支持事务、ACID、可以替代MySQL的加强版数据库
• 一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群
• 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
• 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
• 一个新颖的数据库中间件产品

2、Mycat的关键特性

• 支持SQL92标准
• 支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法
• 遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。
• 基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。
• 支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster
• 基于Nio实现，有效管理线程，解决高并发问题。
• 支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。
• 支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。
• 支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。
• 支持分布式事务（弱xa）。
• 支持XA分布式事务（1.6.5）。
• 支持全局序列号，解决分布式下的主键生成问题。
• 支持zookeeper协调主从切换、zk序列、配置zk化（1.6）
• 支持库内分表（1.6）
• 集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。

3、MyCat的架构

二、Mycat的安装和配置（使用的java开发的）

Mycat原理解析-Mycat架构分析（引用别人文章链接）

环境要求、安装了JDK

1、安装

1、在mycat官网[http://www.mycat.io/] 下载mycat

wget http://dl.mycat.io/1.6.6.1/Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz

[http://dl.mycat.io/]下载自己所需的环境版本
2、解压mycat到/usr/local目录下

tar xf Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz -C /usr/local

3、进入bin目录启动mycat

cd /usr/local/mycat/bin

./mycat start

Usage: ./mycat { console | start | stop | restart | status | dump }

4、检查mycat是正常工作

A、出现 Starting Mycat-server… 日志

B、ps -ef |grep mycat 查看是否存在mycat进程

C、netstat -lnutp | grep mycat进程号 <Mycat提供外部访问的端口默认为8066>

2、分片相关的概念

逻辑库(schema) ：

前面一节讲了数据库中间件，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

逻辑表（table）：

既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。

分片表：是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的数据。 总而言之就是需要进行分片的表。

非分片表：一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。

分片节点(dataNode)

数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节点（dataNode）。

节点主机(dataHost)

数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（dataHost）,为了规避单节点主机并发数限制，尽量将读写压力高的分片节点（dataNode）均衡的放在不同的节点主机（dataHost）。

分片规则(rule)

前面讲了数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。

范围

hash

3、Mycat的配置

schema.xml

文件主要配置数据库的信息，例如逻辑数据库名称，物理上真实的数据源以及表和数据源之间的对应关系和路由策略等

<!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致  -->  
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">  
	<table name="users" primaryKey="id"  dataNode="node_db01" />  
	<table name="item"  primaryKey="id"  dataNode="node_db02,node_db03" rule="rule1" />  
</schema>  
<!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost -->  
<dataNode name="node_db01" dataHost="dataHost01" database="db01" />  
<dataNode name="node_db02" dataHost="dataHost01" database="db02" />  
<dataNode name="node_db03" dataHost="dataHost01" database="db03" />  
<!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 -->  
<dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">  
	<heartbeat>select user()</heartbeat>  
	<writeHost host="server1" url="127.0.0.1:3306" user="root" password="123456"/>  
</dataHost>

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<schema name="GDB" checkSQLschema="false" sqlMaxLimit="100">
		<table name="tb_user" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
	</schema>
	<dataNode name="dn1" dataHost="localhost1" database="db1" />
	<dataNode name="dn2" dataHost="localhost1" database="db2" />
	<dataNode name="dn3" dataHost="localhost1" database="db3" />
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="hostS1" url="192.168.3.220:3306" user="root"
				   password="root" />
	</dataHost>
</mycat:schema>

service.xml

主要配置mycat服务的参数，比如端口号，myact用户名和密码使用的逻辑数据库等

<system>  
    <property name="charset">utf8</property> 
    <property name="defaultSqlParser">druidparser</property>  
    <property name="mutiNodeLimitType">1</property>
    <!-- 这个端口将在项目中使用--> 
    <property name="serverPort">8066</property>  
    <!-- 这个端口是mycat自带的监控系统端口，和下面的账号是一起的 --> 
    <property name="managerPort">9066</property>   
</system>  
       
<!-- 任意设置登陆 mycat 的用户名,密码,数据库 ，这个账号不是你本地数据库的账号，是mycat自带的监控系统 -->  
<user name="test">  
    <property name="password">test</property>  
    <property name="schemas">TESTDB</property>  
</user>  

rule.xml

主要配置路由策略，主要有分片的片键，拆分的策略（取模还是按区间划分等）

<!-- 创建分表路由 -->
<tableRule name="rule1">
    <rule>
        <columns>id</columns>
        <algorithm>mod-long</algorithm>
    </rule>
</tableRule>

<!-- 创建分表路由策略 -->
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
    <!-- 根据你有多少个数据库节点 -->
    <property name="count">2</property>
</function>

4、验证结果

在命令行访问mycat逻辑数据库

命令: mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

说明: 第一个test是你自己数据库的账号 第二个test是你自己数据库的密码 -P8066是mycat逻辑库的端口，TESTDB是逻辑库，在schema.xml定义过