mycat中间件+mysql集群

1.定义:

多角度描述:

  • 一个彻底开源的,面向企业应用开发的大数据库集群
  • 支持事务、ACID、可以替代 MySQL 的加强版数据库
  • 一个可以视为 MySQL 集群的企业级数据库,用来替代昂贵的 Oracle 集群
  • 一个融合内存缓存技术、NoSQL 技术、HDFS 大数据的新型 SQL Server
  • 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
  • 一个新颖的数据库中间件产品

2.优势:

基于阿里开源的 Cobar 产品而研发,Cobar 的稳定性、可靠性、优秀的架构和性能以及众 多成熟的使用案例使得 MYCAT 一开始就拥有一个很好的起点,站在巨人的肩膀上,我们能 看到更远。业界优秀的开源项目和创新思路被广泛融入到 MYCAT 的基因中,使得 MYCAT 在很多方面都领先于目前其他一些同类的开源项目,甚至超越某些商业产品。 MYCAT 背后有一支强大技术团队,其参与者都是 5 年以上软件工程师、架构师、DBA 等,优秀的技术团队保证了 MYCAT 的产品质量。 MYCAT 并不依托于任何一个商业公司,因此不像某些开源项目,将一些重要的特性封闭在 其商业产品中,使得开源项目成了一个摆设。

3.关键特性:

  • 支持 SQL92 标准

  • 支持 MySQL、Oracle、DB2、SQL Server、PostgreSQL 等 DB 的常见 SQL 语法

  • 遵守 Mysql 原生协议,跨语言,跨平台,跨数据库的通用中间件代理。

  • 基于心跳的自动故障切换,支持读写分离,支持 MySQL 主从,以及 galera cluster 集 群。

  • 支持 Galera for MySQL 集群,Percona Cluster 或者 MariaDB cluster

  • 基于 Nio 实现,有效管理线程,解决高并发问题。

  • 支持数据的多片自动路由与聚合,支持 sum,count,max 等常用的聚合函数,支持跨库分页

  • 支持单库内部任意 join,支持跨库 2 表 join,甚至基于 caltlet 的多表 join。

  • 支持通过全局表,ER 关系的分片策略,实现了高效的多表 join 查询。

  • 支持多租户方案。

  • 支持分布式事务(弱 xa)。

  • 支持 XA 分布式事务(1.6.5)。

  • 支持全局序列号,解决分布式下的主键生成问题。

  • 分片规则丰富,插件化开发,易于扩展。

  • 强大的 web,命令行监控。

  • 支持前端作为 MySQL 通用代理,后端 JDBC 方式支持 Oracle、DB2、SQL Server 、 mongodb 、巨杉。

  • 支持密码加密

  • 支持服务降级

  • 支持 IP 白名单

  • 支持 SQL 黑名单、sql 注入攻击拦截

  • 支持 prepare 预编译指令(1.6)

  • 支持非堆内存(Direct Memory)聚合计算(1.6)

  • 支持 PostgreSQL 的 native 协议(1.6)

  • 支持 mysql 和 oracle 存储过程,out 参数、多结果集返回(1.6)

  • 支持 zookeeper 协调主从切换、zk 序列、配置 zk 化(1.6)

  • 支持库内分表(1.6)

  • 集群基于 ZooKeeper 管理,在线升级,扩容,智能优化,大数据处理(2.0 开发版)。

4.配置两个mysql集群

可以参考我的博客:https://blog.csdn.net/a_rukh/article/details/106241963

5.安装JDK:

(1) sudo mkdir /usr/lib/jvm

(2) 并修改权限

(3)tar -zxvf jdk-8u141-linux-x64.tar.gz -C /usr/lib/jvm

(4)sudo vim ~/.bashrc

文件末尾追加如下内容

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_141 
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

(5)是环境变量生效:

source ~/.bashrc

(6)设置默认JDK:

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_141/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_141/bin/javac 300 sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1.8.0_141/bin/jar 300 sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/jdk1.8.0_141/bin/javah 300 sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/jdk1.8.0_141/bin/javap 300

(7)sudo update-alternatives --config java

(8)测试是否安装成功

java -version

javac -version

6.安装Mycat中间件:

cd /data

mkdir mycat

cd mycat

通过 ftp 方式讲 mycat 安装包放到对应目录中

tar -xvf Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz

mv mycat mycat01 #重命名

cd mycat01

cd conf

修改配置三个配置

schema.xml :注意点:下面的IP地址一定要注意,是写自己的IP地址。

<?xml version="1.0"?>
 <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> 
 <mycat:schema xmlns:mycat="http://io.mycat/">
	<schema name="db_zhu" checkSQLschema="false" sqlMaxLimit="100"> 
		<table name="t_user" dataNode="dn1,dn2" rule="mod-long" />
	</schema> <dataNode name="dn1" dataHost="cluster1" database="db_zhu" /> 
	<dataNode name="dn2" dataHost="cluster2" database="db_zhu" /> 
		<dataHost name="cluster1" maxCon="1000" minCon="10" balance="3" writeType="1" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> 
			<heartbeat>select user()</heartbeat> 
			<writeHost host="W1" url="192.168.80.137:3306" user="root" password="root">
			<readHost host="W1R1" url="192.168.115.188:3307" user="root" password="root" />
			</writeHost> 
		</dataHost> 
	<dataHost name="cluster2" maxCon="1000" minCon="10" balance="3" writeType="1" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
		<heartbeat>select user()</heartbeat> 
		<writeHost host="W2" url="192.168.80.137:3316" user="root" password="root"> 
		<readHost host="W2R1" url="192.168.115.188:3317" user="root" password="root" />
		</writeHost> 
	</dataHost> 
 </mycat:schema>

rule.xml:

<?xml version="1.0" encoding="UTF-8"?> 
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); - you may not use this file except in compliance with the License. - You may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 - - Unless required by applicable law or agreed to in writing, software - distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the License for the specific language governing permissions and - limitations under the License. --> 
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
 <mycat:rule xmlns:mycat="http://io.mycat/"> 
	<tableRule name="mod-long">
		<rule>
			<columns>id</columns>
			<algorithm>mod-long</algorithm>
		</rule> 
	</tableRule> 
	<function name="mod-long" class="io.mycat.route.function.PartitionByMod"> 
		<property name="count">2</property> 
	</function>
 </mycat:rule>

server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
	- you may not use this file except in compliance with the License. - You 
	may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
	- - Unless required by applicable law or agreed to in writing, software - 
	distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
	WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
	License for the specific language governing permissions and - limitations 
	under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
	<system>
	<property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
	<property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->

		<property name="sequnceHandlerType">2</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
	<!-- <property name="processorBufferChunk">40960</property> -->
	<!-- 
	<property name="processors">1</property> 
	<property name="processorExecutor">32</property> 
	 -->
		<!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
		<property name="processorBufferPoolType">0</property>
		<!--默认是65535 64K 用于sql解析时最大文本长度 -->
		<!--<property name="maxStringLiteralLength">65535</property>-->
		<!--<property name="sequnceHandlerType">0</property>-->
		<!--<property name="backSocketNoDelay">1</property>-->
		<!--<property name="frontSocketNoDelay">1</property>-->
		<!--<property name="processorExecutor">16</property>-->
		<!--
			<property name="serverPort">8066</property> <property name="managerPort">9066</property> 
			<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
			<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
		<!--分布式事务开关,0为不过滤分布式事务,1为过滤分布式事务(如果分布式事务内只涉及全局表,则不过滤),2为不过滤分布式事务,但是记录分布式事务日志-->
		<property name="handleDistributedTransactions">0</property>
		
			<!--
			off heap for merge/order/group/limit      1开启   0关闭
		-->
		<property name="useOffHeapForMerge">1</property>

		<!--
			单位为m
		-->
		<property name="memoryPageSize">1m</property>

		<!--
			单位为k
		-->
		<property name="spillsFileBufferSize">1k</property>

		<property name="useStreamOutput">0</property>

		<!--
			单位为m
		-->
		<property name="systemReserveMemorySize">384m</property>


		<!--是否采用zookeeper协调切换  -->
		<property name="useZKSwitch">true</property>


	</system>
	
	<!-- 全局SQL防火墙设置 -->
	<!-- 
	<firewall> 
	   <whitehost>
	      <host host="127.0.0.1" user="mycat"/>
	      <host host="127.0.0.2" user="mycat"/>
	   </whitehost>
       <blacklist check="false">
       </blacklist>
	</firewall>
	-->
	
	<user name="root">
		<property name="password">123456</property>
		<property name="schemas">db_zhu</property>
		
		<!-- 表级 DML 权限设置 -->
		<!-- 		
		<privileges check="false">
			<schema name="TESTDB" dml="0110" >
				<table name="tb01" dml="0000"></table>
				<table name="tb02" dml="1111"></table>
			</schema>
		</privileges>		
		 -->
	</user>

</mycat:server>

7.启动mycat进行测试:

1)重新启动 mycat 进行测试:

./startup_nowrap.sh && tail -f …/logs/mycat.log

2)通过数据库可视化工具,连接指定端口号的数据库。

注意:一定要在mysql集群中的主库中创建名为db_zhu的数据库,同时还要创建表:下面的表只是作为测试使用。

CREATE TABLE `t_user` (
	`id` INT (32) NOT NULL AUTO_INCREMENT,
	`name` VARCHAR (32) COLLATE utf8_unicode_ci NOT NULL,
	PRIMARY KEY (`id`)
) ENGINE = InnoDB AUTO_INCREMENT = 5 DEFAULT CHARSET = utf8 COLLATE = utf8_unicode_ci;

如果上面两个没有创建的话会报Table ‘db_zhu.t_user’ doesn’t exist的错。这点一定要重视。

8.设置多个中间件:

搭建多节点 mycat:

cp mycat mycat2 -R

vim wrapper.conf

#设置 jmx 端口

wrapper.java.additional.7=-Dcom.sun.management.jmxremote.port=1985 vim server.xml

#设置服务端口以及管理端口

8067

9067

#重新启动服务

./startup_nowrap.sh

tail -f …/logs/mycat.log

注意点:通过mycat中间件去连接mysql集群的话,我们不用去修改数据库里边的东西,直接操作连接mycat的数据库即可,采用的策略是:根据ID%(集群的个数)==》如果为0的话,就在第一个集群中。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值