一.Mycat读写分离原理
Mycat读写分离是基于MySQL集群的主从复制实现的,而Mycat负责SQL分析,并将分析出的结果分发至与Mycat读写分离机制所绑定的MySQL主从复制数据库,从而实现读写分离。
二.部署规划
服务器IP | 主机名 |
192.168.112.29(Cetnos7.2) | Mycat |
192.168.112.30(Cetnos7.2) | MySQL Master |
192.168.112.31(Cetnos7.2) | MySQL Slave |
三.安装部署
1.安装Java环境(Mycat基于Java,7及以上版本)
# vim /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
# source /etc/profile
# java -version
2.下载Mycat
官网:Mycat1.6
3.上传安装包并解压
# 解压
tar -zxvf Mycat-server-1.6.5-release-20180122220033-linux.tar.gz
# 剪切到/usr/local下
mv mycat /usr/local/
# 创建专门运行mycat账号
# 可根据自身项目情况规划
adduser mycat
# 切换到mycat文件夹路径下
cd /usr/local
# 将文件权限赋给mycat账号
chown -R mycat:mycat mycat
4.配置Mycat环境变量
# 配置环境变量并添加
vim /etc/profile
export MYCAT_HOME=/usr/local/mycat
export PATH=$PATH:$MYCAT_HOME/bin
# 使配置生效
source /etc/profile
5.配置Mycat读写分离信息
这里我们先看Mycat最外部结构
首先先了解下Mycat组成,在根目录下有如下文件
进入conf文件中,有如下配置文件
要实现读写分离可有两种方式
第一种:显示数据库所有表,即整个数据库;
配置文件中有参数详解,如配置文件直接复制无法是实现读写分离,把参数注释删掉即可
# 打开 schema.xml 配置文件 vim /usr/local/mycat/conf/schema.xml
<?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="BJCA" checkSQLschema="false" sqlMaxLimit="100" dataNode="xss"></schema> <!-- schema为mycat创建的虚拟库,库名为:BJCA,dataNode为虚拟数据库名,数据库名为:xss,对应<dataNode>标签的name参数 --> <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743" /> --> <dataNode name="xss" dataHost="localhost1" database="bjca" /> <!-- dataHost对应<dataHost>标签的name参数,database为实际数据库名(真正要使用的数据库名) --> <!--<dataNode name="dn4" dataHost="sequoiadb1" database="SAMPLE" /> <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" /> <dataNode name="jdbc_dn2" dataHost="jdbchost" database="db2" /> <dataNode name="jdbc_dn3" dataHost="jdbchost" database="db3" /> --> <dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> <!-- dataHost配置中<<<<<<<balance参数详解>>>>>>> balance=0 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上 balance=1 全部的 readHost 与 writeHost 参与 select 语句的负载均衡,简单的说,当双 主双从模式(M1->S1,M2->S2,并且 M1 与 M2 互为主备),正常情况下,M2,S1,S2 都参与 select 语句 的负载均衡 balance=2 所有读操作都随机的在 writeHost、readhost 上分发 balance=3 所有读请求随机的分发到对应的 readhost 执行,writerHost 不 负担读压力,注意 balance=3 只在 1.4 及其以后版本有,1.3 没有 <<<<<<<WriteType参数详解>>>>>>> writeType=0 所有写操作发送到配置的第一个 writeHost,第一个挂了切换到还生存的第二个 writeHost,重新启动后已切换后的为准. writeType=1 所有写操作都随机的发送到配置的 writeHost,#版本1.5 以后废弃,不推荐。 <<<<<<<switchType参数详解>>>>>>> switchType=-1 表示不自动切换 switchType=1 默认值,自动切换(在多个从时进行自动轮询查询) switchType=2 基于MySQL主从同步的状态决定是否切换 <<<<<<<maxCon参数详解>>>>>>> 最大连接数 <<<<<<<minCon参数详解>>>>>>> 最小连接数 结论: 实现读写分离的设置 balance="3" writeType="0" --> <heartbeat>select user()</heartbeat> <!-- <<<<<<<heartbeat>>>>>>>测试真实连接数据库是否健康的语句,如果数据库宕机,会自动切换第二个<writeHost> --> <!-- can have multi write hosts --> <writeHost host="192.168.112.30" url="192.168.112.30:3306" user="root" password="root"> <!-- can have multi read hosts --> <!-- <writeHost>写操作的数据库 host:数据库ip url:ip+port user:账号 password:密码 --> <readHost host="192.168.112.31" url="192.168.112.31:3306" user="root" password="root" /> <!-- <readHost>读操作的数据库,可以写多个,其余同上 --> </writeHost> <!-- <writeHost host="hostS1" url="localhost:3316" user="root" password="123456" /> --> <!-- 备用写数据库(第一个writeHost挂掉后使用这个,可配置多个) --> <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> --> </dataHost> <!-- <dataHost name="sequoiadb1" maxCon="1000" minCon="1" balance="0" dbType="sequoiadb" dbDriver="jdbc"> <heartbeat> </heartbeat> <writeHost host="hostM1" url="sequoiadb://1426587161.dbaas.sequoialab.net:11920/SAMPLE" user="jifeng" password="jifeng"></writeHost> </dataHost> <dataHost name="oracle1" maxCon="1000" minCon="1" balance="0" writeType="0" dbType="oracle" dbDriver="jdbc"> <heartbeat>select 1 from dual</heartbeat> <connectionInitSql>alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'</connectionInitSql> <writeHost host="hostM1" url="jdbc:oracle:thin:@127.0.0.1:1521:nange" user="base" password="123456" > </writeHost> </dataHost> <dataHost name="jdbchost" maxCon="1000" minCon="1" balance="0" writeType="0" dbType="mongodb" dbDriver="jdbc"> <heartbeat>select user()</heartbeat> <writeHost host="hostM" url="mongodb://192.168.0.99/test" user="admin" password="123456" ></writeHost> </dataHost> <dataHost name="sparksql" maxCon="1000" minCon="1" balance="0" dbType="spark" dbDriver="jdbc"> <heartbeat> </heartbeat> <writeHost host="hostM1" url="jdbc:hive2://feng01:10000" user="jifeng" password="jifeng"></writeHost> </dataHost> --> <!-- <dataHost name="jdbchost" maxCon="1000" minCon="10" balance="0" dbType="mysql" dbDriver="jdbc"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1" url="jdbc:mysql://localhost:3306" user="root" password="123456"> </writeHost> </dataHost> --> </mycat:schema>
第二种:显示数据库指定表,本文中暂时不做介绍
6.配置Mycat连接信息
# 打开 server.xml 配置文件 vim /usr/local/mycat/conf/server.xml
以下为server.xml配置文件内容
<?xml version="1.0" encoding="UTF-8"?> <!-- - - Licensed under the Apache License, Version 2.0 (the "License"); - you may not use this file except in compliance with the License. - You may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 - - Unless required by applicable law or agreed to in writing, software - distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the License for the specific language governing permissions and - limitations under the License. --> <!DOCTYPE mycat:server SYSTEM "server.dtd"> <mycat:server xmlns:mycat="http://io.mycat/"> <system> <property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0,设置为1则需要指定默认账户--> <property name="useHandshakeV10">1</property> <property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 --> <property name="useGlobleTableCheck">0</property> <!-- 1为开启全加班一致性检测、0为关闭 --> <property name="sequnceHandlerType">2</property> <property name="subqueryRelationshipCheck">false</property> <!-- 子查询中存在关联查询的情况下,检查关联字段中是否有分片字段 .默认 false --> <property name="serverPort">3310</property> <!-- 端口设置 <property name="managerPort">9066</property>--> <!-- <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议--> <!-- <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号--> <!-- <property name="processorBufferChunk">40960</property> --> <!-- <property name="processors">1</property> <property name="processorExecutor">32</property> --> <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool --> <property name="processorBufferPoolType">0</property> <!--默认是65535 64K 用于sql解析时最大文本长度 --> <!--<property name="maxStringLiteralLength">65535</property>--> <!--<property name="sequnceHandlerType">0</property>--> <!--<property name="backSocketNoDelay">1</property>--> <!--<property name="frontSocketNoDelay">1</property>--> <!--<property name="processorExecutor">16</property>--> <!-- <property name="serverPort">8066</property> <property name="managerPort">9066</property> <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> --> <!--分布式事务开关,0为不过滤分布式事务,1为过滤分布式事务(如果分布式事务内只涉及全局表,则不过滤),2为不过滤分布式事务,但是记录分布式事务日志--> <property name="handleDistributedTransactions">0</property> <!-- off heap for merge/order/group/limit 1开启 0关闭 --> <property name="useOffHeapForMerge">1</property> <!-- 单位为m --> <property name="memoryPageSize">64k</property> <!-- 单位为k --> <property name="spillsFileBufferSize">1k</property> <property name="useStreamOutput">0</property> <!-- 单位为m --> <property name="systemReserveMemorySize">384m</property> <!--是否采用zookeeper协调切换 --> <property name="useZKSwitch">false</property> <!-- XA Recovery Log日志路径 --> <!--<property name="XARecoveryLogBaseDir">./</property>--> <!-- XA Recovery Log日志名称 --> <!--<property name="XARecoveryLogBaseName">tmlog</property>--> </system> <!-- 全局SQL防火墙设置 --> <!--白名单可以使用通配符%或着*--> <!--例如<host host="127.0.0.*" user="root"/>--> <!--例如<host host="127.0.*" user="root"/>--> <!--例如<host host="127.*" user="root"/>--> <!--例如<host host="1*7.*" user="root"/>--> <!--这些配置情况下对于127.0.0.1都能以root账户登录--> <!-- <firewall> <whitehost> <host host="1*7.0.0.*" user="root"/> </whitehost> <blacklist check="false"> </blacklist> </firewall> --> <user name="root" defaultAccount="true"> <property name="password">root</property> <property name="schemas">BJCA</property> <!-- 全权限账号 name:账号 password:密码 schemas:对应数据库配置文件的<schemas>名称 --> <!-- 表级 DML 权限设置 --> <!-- <privileges check="false"> <schema name="TESTDB" dml="0110" > <table name="tb01" dml="0000"></table> <table name="tb02" dml="1111"></table> </schema> </privileges> --> </user> <!-- <user name="user"> <property name="password">user</property> <property name="schemas">TESTDB</property> <property name="readOnly">true</property> </user>--> <!-- 只读权限账号(其余同上) --> </mycat:server>
7.配置Mycat日志信息
# 切换到conf目录 cd /usr/local/mycat/conf/ # 打开日志配置文件 vim log4j2.xml
<?xml version="1.0" encoding="UTF-8"?> <Configuration status="WARN"> <Appenders> <Console name="Console" target="SYSTEM_OUT"> <PatternLayout pattern="%d [%-5p][%t] %m %throwable{full} (%C:%F:%L) %n"/> </Console> <RollingFile name="RollingFile" fileName="${sys:MYCAT_HOME}/logs/mycat.log" filePattern="${sys:MYCAT_HOME}/logs/$${date:yyyy-MM}/mycat-%d{MM-dd}-%i.log.gz"> <PatternLayout> <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %5p [%t] (%l) - %m%n</Pattern> </PatternLayout> <Policies> <OnStartupTriggeringPolicy/> <SizeBasedTriggeringPolicy size="250 MB"/> <TimeBasedTriggeringPolicy/> </Policies> </RollingFile> </Appenders> <Loggers> <!--<AsyncLogger name="io.mycat" level="info" includeLocation="true" additivity="false">--> <!--<AppenderRef ref="Console"/>--> <!--<AppenderRef ref="RollingFile"/>--> <!--</AsyncLogger>--> <asyncRoot level="debug" includeLocation="true"> <!--<AppenderRef ref="Console" />--> <AppenderRef ref="RollingFile"/> </asyncRoot> </Loggers> </Configuration>
这里只修改了一处:asyncRoot level="debug"
将日志级别调为debug模式,方便我们查看请求来源
至此,Mycat的配置完成,接下来我们开放防火墙策略后进行测试
四.关闭防火墙或者开放端口
关闭防火墙
# 查看防火墙状态 systemctl status firewalld # 关闭防火墙 systemctl stop firewalld
开放端口
# 查看防火墙所有开放的端口 firewall-cmd --zone=public --list-ports # 开放3306端口 firewall-cmd --zone=public --add-port=3306/tcp --permanent # 关闭3306端口 firewall-cmd --zone=public --remove-port=3306/tcp --permanent # 配置立即生效 firewall-cmd --reload
五.连接测试
1.如其他服务器或本地有MySQL,可通过已有的MySQL客户端进行连接测试
这里使用192.168.112.28服务器进行连接测试
2.通过Navicat工具进行测试
至此,Mycat连接测试完成,我们可以看到是可以正常连接的
六.测试读写分离
1.打开日志,实时查看打印的日志
# 切换至mycat日志目录
cd /usr/local/mycat/logs/
# 实时查看mycat日志
tail -f mycat.log
2.测试读操作
B服务器(192.168.112.28)连接Mycat服务器(192.168.112.29)
执行select查询语句,实时查看Mycat日志
多次测试,Mycat所打印的日志都显示读操作都路由到从节点(192.168.112.31)
3.测试写操作
执行insert插入语句,实施查看Mycat日志
多次测试,Mycat所打印的日志都显示写操作都路由到主节点(192.168.112.30)
至此。基于Mycat的读写分离配置全部完成。