1.定义:
多角度描述:
- 一个彻底开源的,面向企业应用开发的大数据库集群
- 支持事务、ACID、可以替代 MySQL 的加强版数据库
- 一个可以视为 MySQL 集群的企业级数据库,用来替代昂贵的 Oracle 集群
- 一个融合内存缓存技术、NoSQL 技术、HDFS 大数据的新型 SQL Server
- 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
- 一个新颖的数据库中间件产品
2.优势:
基于阿里开源的 Cobar 产品而研发,Cobar 的稳定性、可靠性、优秀的架构和性能以及众 多成熟的使用案例使得 MYCAT 一开始就拥有一个很好的起点,站在巨人的肩膀上,我们能 看到更远。业界优秀的开源项目和创新思路被广泛融入到 MYCAT 的基因中,使得 MYCAT 在很多方面都领先于目前其他一些同类的开源项目,甚至超越某些商业产品。 MYCAT 背后有一支强大技术团队,其参与者都是 5 年以上软件工程师、架构师、DBA 等,优秀的技术团队保证了 MYCAT 的产品质量。 MYCAT 并不依托于任何一个商业公司,因此不像某些开源项目,将一些重要的特性封闭在 其商业产品中,使得开源项目成了一个摆设。
3.关键特性:
-
支持 SQL92 标准
-
支持 MySQL、Oracle、DB2、SQL Server、PostgreSQL 等 DB 的常见 SQL 语法
-
遵守 Mysql 原生协议,跨语言,跨平台,跨数据库的通用中间件代理。
-
基于心跳的自动故障切换,支持读写分离,支持 MySQL 主从,以及 galera cluster 集 群。
-
支持 Galera for MySQL 集群,Percona Cluster 或者 MariaDB cluster
-
基于 Nio 实现,有效管理线程,解决高并发问题。
-
支持数据的多片自动路由与聚合,支持 sum,count,max 等常用的聚合函数,支持跨库分页
-
支持单库内部任意 join,支持跨库 2 表 join,甚至基于 caltlet 的多表 join。
-
支持通过全局表,ER 关系的分片策略,实现了高效的多表 join 查询。
-
支持多租户方案。
-
支持分布式事务(弱 xa)。
-
支持 XA 分布式事务(1.6.5)。
-
支持全局序列号,解决分布式下的主键生成问题。
-
分片规则丰富,插件化开发,易于扩展。
-
强大的 web,命令行监控。
-
支持前端作为 MySQL 通用代理,后端 JDBC 方式支持 Oracle、DB2、SQL Server 、 mongodb 、巨杉。
-
支持密码加密
-
支持服务降级
-
支持 IP 白名单
-
支持 SQL 黑名单、sql 注入攻击拦截
-
支持 prepare 预编译指令(1.6)
-
支持非堆内存(Direct Memory)聚合计算(1.6)
-
支持 PostgreSQL 的 native 协议(1.6)
-
支持 mysql 和 oracle 存储过程,out 参数、多结果集返回(1.6)
-
支持 zookeeper 协调主从切换、zk 序列、配置 zk 化(1.6)
-
支持库内分表(1.6)
-
集群基于 ZooKeeper 管理,在线升级,扩容,智能优化,大数据处理(2.0 开发版)。
4.配置两个mysql集群
可以参考我的博客:https://blog.csdn.net/a_rukh/article/details/106241963
5.安装JDK:
(1) sudo mkdir /usr/lib/jvm
(2) 并修改权限
(3)tar -zxvf jdk-8u141-linux-x64.tar.gz -C /usr/lib/jvm
(4)sudo vim ~/.bashrc
文件末尾追加如下内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
(5)是环境变量生效:
source ~/.bashrc
(6)设置默认JDK:
sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_141/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_141/bin/javac 300 sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1.8.0_141/bin/jar 300 sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/jdk1.8.0_141/bin/javah 300 sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/jdk1.8.0_141/bin/javap 300
(7)sudo update-alternatives --config java
(8)测试是否安装成功
java -version
javac -version
6.安装Mycat中间件:
cd /data
mkdir mycat
cd mycat
通过 ftp 方式讲 mycat 安装包放到对应目录中
tar -xvf Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz
mv mycat mycat01 #重命名
cd mycat01
cd conf
修改配置三个配置
schema.xml :注意点:下面的IP地址一定要注意,是写自己的IP地址。
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="db_zhu" checkSQLschema="false" sqlMaxLimit="100">
<table name="t_user" dataNode="dn1,dn2" rule="mod-long" />
</schema> <dataNode name="dn1" dataHost="cluster1" database="db_zhu" />
<dataNode name="dn2" dataHost="cluster2" database="db_zhu" />
<dataHost name="cluster1" maxCon="1000" minCon="10" balance="3" writeType="1" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="W1" url="192.168.80.137:3306" user="root" password="root">
<readHost host="W1R1" url="192.168.115.188:3307" user="root" password="root" />
</writeHost>
</dataHost>
<dataHost name="cluster2" maxCon="1000" minCon="10" balance="3" writeType="1" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="W2" url="192.168.80.137:3316" user="root" password="root">
<readHost host="W2R1" url="192.168.115.188:3317" user="root" password="root" />
</writeHost>
</dataHost>
</mycat:schema>
rule.xml:
<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); - you may not use this file except in compliance with the License. - You may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 - - Unless required by applicable law or agreed to in writing, software - distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the License for the specific language governing permissions and - limitations under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
<tableRule name="mod-long">
<rule>
<columns>id</columns>
<algorithm>mod-long</algorithm>
</rule>
</tableRule>
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<property name="count">2</property>
</function>
</mycat:rule>
server.xml
<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License");
- you may not use this file except in compliance with the License. - You
may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
- - Unless required by applicable law or agreed to in writing, software -
distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
License for the specific language governing permissions and - limitations
under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
<system>
<property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 -->
<property name="useGlobleTableCheck">0</property> <!-- 1为开启全加班一致性检测、0为关闭 -->
<property name="sequnceHandlerType">2</property>
<!-- <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
<!-- <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
<!-- <property name="processorBufferChunk">40960</property> -->
<!--
<property name="processors">1</property>
<property name="processorExecutor">32</property>
-->
<!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
<property name="processorBufferPoolType">0</property>
<!--默认是65535 64K 用于sql解析时最大文本长度 -->
<!--<property name="maxStringLiteralLength">65535</property>-->
<!--<property name="sequnceHandlerType">0</property>-->
<!--<property name="backSocketNoDelay">1</property>-->
<!--<property name="frontSocketNoDelay">1</property>-->
<!--<property name="processorExecutor">16</property>-->
<!--
<property name="serverPort">8066</property> <property name="managerPort">9066</property>
<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
<!--分布式事务开关,0为不过滤分布式事务,1为过滤分布式事务(如果分布式事务内只涉及全局表,则不过滤),2为不过滤分布式事务,但是记录分布式事务日志-->
<property name="handleDistributedTransactions">0</property>
<!--
off heap for merge/order/group/limit 1开启 0关闭
-->
<property name="useOffHeapForMerge">1</property>
<!--
单位为m
-->
<property name="memoryPageSize">1m</property>
<!--
单位为k
-->
<property name="spillsFileBufferSize">1k</property>
<property name="useStreamOutput">0</property>
<!--
单位为m
-->
<property name="systemReserveMemorySize">384m</property>
<!--是否采用zookeeper协调切换 -->
<property name="useZKSwitch">true</property>
</system>
<!-- 全局SQL防火墙设置 -->
<!--
<firewall>
<whitehost>
<host host="127.0.0.1" user="mycat"/>
<host host="127.0.0.2" user="mycat"/>
</whitehost>
<blacklist check="false">
</blacklist>
</firewall>
-->
<user name="root">
<property name="password">123456</property>
<property name="schemas">db_zhu</property>
<!-- 表级 DML 权限设置 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
</mycat:server>
7.启动mycat进行测试:
1)重新启动 mycat 进行测试:
./startup_nowrap.sh && tail -f …/logs/mycat.log
2)通过数据库可视化工具,连接指定端口号的数据库。
注意:一定要在mysql集群中的主库中创建名为db_zhu的数据库,同时还要创建表:下面的表只是作为测试使用。
CREATE TABLE `t_user` (
`id` INT (32) NOT NULL AUTO_INCREMENT,
`name` VARCHAR (32) COLLATE utf8_unicode_ci NOT NULL,
PRIMARY KEY (`id`)
) ENGINE = InnoDB AUTO_INCREMENT = 5 DEFAULT CHARSET = utf8 COLLATE = utf8_unicode_ci;
如果上面两个没有创建的话会报Table ‘db_zhu.t_user’ doesn’t exist的错。这点一定要重视。
8.设置多个中间件:
搭建多节点 mycat:
cp mycat mycat2 -R
vim wrapper.conf
#设置 jmx 端口
wrapper.java.additional.7=-Dcom.sun.management.jmxremote.port=1985 vim server.xml
#设置服务端口以及管理端口
8067
9067
#重新启动服务
./startup_nowrap.sh
tail -f …/logs/mycat.log
注意点:通过mycat中间件去连接mysql集群的话,我们不用去修改数据库里边的东西,直接操作连接mycat的数据库即可,采用的策略是:根据ID%(集群的个数)==》如果为0的话,就在第一个集群中。