Java高级工程师面试实战，数据库中间件MyCat实战笔记（第一步

最新推荐文章于 2022-12-15 11:19:58 发布
最新推荐文章于 2022-12-15 11:19:58 发布
阅读量100 收藏
点赞数
分类专栏： 程序员 文章标签： 后端 java 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60607838/article/details/119494574
版权
本文介绍了如何在Linux上安装JDK1.8和MyCat，包括上传安装包、解压、配置环境变量等步骤。接着详细讲解了MyCat的核心概念，如分片、逻辑库、逻辑表、分片节点等，并提供了分片配置的实例，包括创建分片表和配置schema.xml与server.xml。最后，通过测试验证了分片配置的有效性。
摘要由CSDN通过智能技术生成 
flush privileges;


授权远程访问之后 , 就可以通过`sqlYog`来连接`Linux`上的`MySQL` , 但是记得关闭Linux上的防火墙(或者配置防火墙):
![](https://upload-images.jianshu.io/upload_images/25222111-63c705733d1f1414?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
## 2.安装JDK1.8

```java
A. 上传JDK的安装包到Linux的root目录下 

	alt + p -----------> put D:/jdk-8u181-linux-x64.tar.gz 

B. 解压压缩包 , 到 /usr/share 目录下 
	tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/share/ 

C. 配置PATH环境变量 , 在该配置文件(/etc/profile)的最后加入如下配置 
	export JAVA_HOME=/usr/share/jdk1.8.0_181 
	export PATH=$PATH:$JAVA_HOME/bin

3.安装MyCat

  1. 上传MyCat的压缩包 alt + p --------> put D:/Mycat-server-1.6.7.3- release-20190927161129-linux.tar.gz
  2. 解压MyCat的压缩包 tar -zxvf Mycat-server-1.6.7.3-release-20190927161129- linux.tar.gz -C /usr/local
  3. MyCat的目录结构介绍

参考资料：《开源数据库中间件MyCat实战笔记》
快速入手通道：发送简信“MyCat资料”免费获取

二、MyCat核心概念

1.分片

简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个 数据库（主机） 上面，以达到分散单台设备负载的效果。 数据的 切分（Sharding） 根据其切分规则的类型，可以分为两种切分模式。

  1. 一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切分可以称之为数据的垂直（纵向）切分。

  2. 另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。


MyCat 分片策略 :


虚线以上是逻辑结构图, 虚线以下是物理结构图 ;

2.逻辑库(schema)

MyCat是一个数据库中间件，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

3.逻辑表（table）

既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。

  1. 分片表
    是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的数据。 总而言之就是需要进行分片的表。如 ：tb_order 表是一个分片表, 数据按照规则被切分到dn1、dn2两个节点。
  2. 非分片表
    一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。如： tb_city是非分片表 , 数据只存于其中的一个节点 dn1 上。
  3. ER表
    关系型数据库是基于 实体关系模型(Entity Relationship Model) 的, MyCat中的ER表便来源于此。 MyCat提出了基于ER关系的数据分片策略 , 字表的记录与其所关联的父表的记录存放在同一个数据分片中, 通过 表分组(Table Group) 保证数据关联查询不会跨库操作。
  4. 全局表
    在一个大型的项目中,会存在一部分 字典表(码表) , 在其中存储的是项目中的一些基础的数据 , 而这些基础的数据 , 数据量都不大 , 在各个业务表中可能都存在关联 。当业务表由于数据量大而分片后 ， 业务表与附属的数据字典表之间的关联查询就变成了比较棘手的问题 ， 在MyCat中可以通过数据冗余来解决这类表的关联查询 ， 即所有分片都复制这一份数据（数据字典表），因此可以把这些冗余数据的表定义为全局表。

4.分片节点(dataNode)

数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是 分片节点（dataNode）。

5.节点主机(dataHost)

数据切分后，每个 分片节点（dataNode） 不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个 分片节点（dataNode） 所在的机器就是 节点主机（dataHost）,为了规避单节点主机并发数限制，尽量将读写压力高的 分片节点（dataNode） 均衡的放在不同的 节点主机（dataHost）。

6.分片规则(rule)

前面讲了数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。

三、分片配置测试

1.需求

由于 TB_TEST 表中数据量很大, 现在需要对 TB_TEST 表进行数据分片, 分为三个数据节点 , 每一个节点主机位于不同的服务器上, 具体的结构 ,参考下图 :

2.环境准备

准备三台虚拟机 , 且安装好 MySQL , 并配置好 :

IP 地址列表 : 
	192.168.192.157 
	192.168.192.158 
	192.168.192.159

3.配置 schema.xml

schema.xml 作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、逻辑表以及对应的分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进行解析。


在服务器上创建3个数据库，命名为 db1

修改 schema.xml 如下：

<?xml version="1.0"?> 
<!DOCTYPE mycat:schema SYSTEM "schema.dtd"> 
<mycat:schema xmlns:mycat="http://io.mycat/"> 
	<!-- 逻辑库配置 --> 
	<schema name="ITCAST" checkSQLschema="false" sqlMaxLimit="100"> 
		<!-- 逻辑表配置 --> 
		<table name="TB_TEST" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" /> 
	</schema> 
	
	<!-- 数据节点配置 --> 
	<dataNode name="dn1" dataHost="host1" database="db1" /> 
	<dataNode name="dn2" dataHost="host2" database="db1" /> 
	<dataNode name="dn3" dataHost="host3" database="db1" /> 
	
	<!-- 节点主机配置 --> 
	<dataHost name="host1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> 
		<heartbeat>select user()</heartbeat> 
		<writeHost host="hostM1" url="192.168.192.157:3306" user="root" password="itcast"></writeHost>
	</dataHost> 
	
	<dataHost name="host2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> 
		<heartbeat>select user()</heartbeat> 
		<writeHost host="hostM1" url="192.168.192.158:3306" user="root" password="itcast"></writeHost> 
	</dataHost> 
	
	<dataHost name="host3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100"> 
		<heartbeat>select user()</heartbeat> 
		<writeHost host="hostM1" url="192.168.192.159:3306" user="root" password="itcast"></writeHost> 
	</dataHost> 

</mycat:schema>

4.配置 server.xml

server.xml 几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。在system中添加UTF-8字符集设置，否则存储中文会出现问号

<property name="charset">utf8</property>

修改user的设置 , 我们这里为 ITCAST 设置了两个用户 :

<user name="root"> 
	<property name="password">123456</property> 
	<property name="schemas">ITCAST</property> 
</user> 

<user name="test"> 
	<property name="password">123456</property> 
	<property name="schemas">ITCAST</property> 
</user>

并且需要将原来的逻辑库的配置 , 替换为 ITCAST逻辑库 ;

5.启动MyCat

启动:

bin/mycat start 
bin/mycat stop 
bin/mycat status

查看MyCat:

连接端口号 8066

  1. 通过命令行
mysql -h 127.0.0.1 -P 8066 -u root -p

  1. 通过sqlyog连接

6.MyCat分片测试

进入mycat ，执行下列语句创建一个表



8066 -u root -p

[外链图片转存中…(img-UtC3qAZd-1628348802322)]

  1. 通过sqlyog连接
    [外链图片转存中…(img-mE5tDiRU-1628348802323)]

6.MyCat分片测试

进入mycat ，执行下列语句创建一个表
程序员就等你
关注
专栏目录
mycat实战笔记-1.doc
03-07
mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记mycat实战笔记
十年数据库专家，耗尽3年心血整理的Mycat中间实战笔记，绝对干货
老男孩的架构路
09-19 199
随着大数据时代的到来，海量数据存储、并行计算、异构数据互联等一系列新技术在市场上不断地涌现。相信数据库行业的很多从业者都对传统关系型数据库的单点故障及容量问题头疼不已，而“分库分表”也早已成为解决这类问题的基础，此时，Mycat 应运而生。Mycat是一款面向企业级应用的开源数据库中间件产品，它目前支持数据库集群、分布式事务与ACID，被普遍视为基于MySQL技术的集群分布式数据库解决方案，在一些互联网、金融、运营商客户中用来替代昂贵的Oracle。
腾讯狠心高级架构师整理总结中间件MyCat实战笔记，开放下载，建议收藏
m0_73408074的博客
09-16 143
Mycat是一个开源的分布式数据库系统，其核心功能是分表分库，即将一个大表水平分割为多个小表，存储在后端MySQL或者其他数据库里更好的使用MyCAT的目标是:低成本的将现有的单机数据库和应用平滑迁移到"云"端,解决海量数据存储和业务规模迅速增长情况下的数据存储和访问的瓶颈问题。由于内容过多，下面展示目录和详细内容截图，有需要完整版源码+笔记的朋友，只有转发+关注， 点击文章开头链接获取1.1 MyCat 引入1.2 MyCat 历史1.3 MyCat 优势1.4 MyCat 使用场合。
数据库中间件：Mycat 权威指南+Mycat 实战笔记，双管齐下！
最新发布
m0_73311735的博客
12-15 132
需要文中资料完整版学习的小伙伴可以点击下方的名片自取！
腾讯高级架构师熬夜整理：中间件MyCat实战笔记，开放下载
程序员小天
10-16 1105
Mycat是一个开源的分布式数据库系统，其核心功能是分表分库，即将一个大表水平分割为多个小表，存储在后端MySQL或者其他数据库里 更好的使用MyCAT的目标是:低成本的将现有的单机数据库和应用平滑迁移到"云"端,解决海量数据存储和业务规模迅速增长情况下的数据存储和访问的瓶颈问题。 由于内容过多，下面展示目录和详细内容截图，有需要完整版源码+笔记的朋友，可以点此处进阶通道获取。 1. MyCat简介： 1.1 MyCat 引入 1.2 MyCat 历史 1.3 MyCat 优势 1.4 MyCat 使用
全面讲解开源数据库中间件MyCat使用及原理视频教程
06-09
MyCat是一个彻底开源的，面向企业应用数据库中间件，支持事务、ACID、可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群，并结合传统数据库和新型分布式数据仓库的新一代企业级数据库中间件产品。...
数据库中间件mycat
09-06
数据库中间件mycat是一种高性能的数据库中间件解决方案，可以帮助用户解决数据库扩展、读写分离、数据库路由、连接数复用、性能分析与监控等问题。本文将详细介绍数据库中间件的概念、特性、架构模式、MyCAT中间件...
数据库中间件MyCat的介绍
09-09
MyCat是一款开源的分布式数据库系统，它作为数据库中间件，实现了MySQL协议，允许前端用户将其视为一个数据库代理，而实际上它可以在后端连接多个MySQL服务器或其他主流数据库，如SQL Server、Oracle、DB2、...
Mycat高性能数据库中间件实战教程课件
01-08
### Mycat高性能数据库中间件实战教程知识点概览 #### 一、Mycat简介与背景 - **Mycat起源与发展** - Mycat源于阿里巴巴的Cobar项目，Cobar作为一个开源项目，虽一度受到广泛关注，但后续由于种种原因停止了维护。...
mycat实战笔记
Riztal的博客
11-21 443
1、数据库设计 参考阿里巴巴开发手册 (一) 建表规约 1. 【强制】表达是与否概念的字段，必须使用 is_xxx 的方式命名，数据类型是 unsigned tinyint（1 表示是，0 表示否）。 说明：任何字段如果为非负数，必须是 unsigned。 注意：POJO 类中的任何布尔类型的变量，都不要加 is 前缀，所以，需要在<resultMap>设置从 is_xxx 到 Xxx 的映射关系。数据库表示是与否的值，使用 tinyint 类型，坚持 is_xxx.
腾讯高级架构师熬夜整理MyCat实战笔记，拿去下载吧
GQH498的博客
07-19 123
Mycat是一个开源的分布式数据库系统，其核心功能是分表分库，即将一个大表水平分割为多个小表，存储在后端MySQL或者其他数据库里 更好的使用MyCAT的目标是:低成本的将现有的单机数据库和应用平滑迁移到"云"端,解决海量数据存储和业务规模迅速增长情况下的数据存储和访问的瓶颈问题。 由于内容过多，下面展示目录和详细内容截图，有需要完整版源码+笔记的朋友，只有转发+关注我 点击这里 即可免费领取！！ 1. MyCat简介： 1.1 MyCat 引入 1.2 MyCat 历史 1.3 ...
腾讯高级架构师：中间件MyCat实战笔记，半小时访问量超50k
文章中资料均可获取，有需要请添加yunduoa2019即可
03-22 118
Mycat是一个开源的分布式数据库系统，其核心功能是分表分库，即将一个大表水平分割为多个小表，存储在后端MySQL或者其他数据库里 更好的使用MyCAT的目标是:低成本的将现有的单机数据库和应用平滑迁移到"云"端,解决海量数据存储和业务规模迅速增长情况下的数据存储和访问的瓶颈问题。 由于内容过多，下面展示目录和详细内容截图，有需要完整版源码+笔记的朋友，帮忙转发一下，关注后添加助理vx：yunduoa2019或扫描下图二维码，跟随助理指引自行获取 1. MyCat简介： 1.1 MyCat 引入
惊艳！阿里出产的MyCat性能笔记，带你领略什么叫细节爆炸
weixin_47083537的博客
09-27 783
如今随着互联网的发展，数据的量级也是成指数式的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求,这个时候NoSQL的出现暂时解决了这一危机。 它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库。如何使用关系型数据库解决海量存储的问题呢？此时就需要做
HarmonyOS与Android的全面对比，腾讯T3大牛亲自教你
m0_60607838的博客
08-28 1665
文章观点： HarmonyOS并不是Android的替代品，HarmonyOS与Android并非同一个赛道 HarmonyOS目前缺乏生态支持这一点远远比不上Android，但是HarmonyOS的战略眼光更加高，未来可期 HarmonyOS相比Android有一定的性能提升 2.2 系统定位 **安卓（Android）：**是一种基于Linux内核（不包含GNU组件）的自由及开放源代码的操作系统。主要使用于移动设备，如智能手机和平板电脑，由美国Google公司和开放手机联盟领导及开发。
java中main函数调用main函数自己（递归(1)，带你全面掌握高级知识点
m0_60607838的博客
08-27 631
main(args); 二、举例： ==================================================================== public static void main(String[] args) { int a=new Random().nextInt(100)+1; //1-100 System.out.println(a); //输出a if (a<10) System.
Element-UI + Vue，孙鑫Java视频教程百度网盘
m0_60607838的博客
09-05 543
}, }, } []( )分页功能的实现 ========================================================================== mysql 分页查询： SELECT id, name, bir, sex, address FROM t_user LIMIT #{start}, #{rows} 后端控制器： @RestController @RequestMapping("/user")..
Java-TypeToken原理及泛型擦除，Java高级程序员面试笔记宝典
m0_60607838的博客
08-27 433
Type mySuperClass = foo.getClass().getGenericSuperclass(); Type type = ((ParameterizedType)mySuperClass).getActualTypeArguments()[0]; System.out.println(type); 分析一下这段代码，Class类的getGenericSuperClass()方法的注释是： > “ > Returns the Type representing
发量能决定一个程序员的水平吗，Java开课吧百度云
m0_60607838的博客
08-11 320
上面这位，Guido Van Rossum，Python之父。 在 Python 社区，Guido Van Rossum 被人们认为是 “仁慈的独裁者（BDFL）”，因为他仍然关注并监督着 Python 的开发进程，并在必要的时刻做出决策。 从 2005 年到 2012 年，他在谷歌工作，在那里他负责开发 Python 编程语言，然后在 2013 年离开谷歌在 Dropbox 工作。 上面这几位在编程界都是响当当的人物，观察一下，发现除了Guido Van Rossum，其他几位都有或多或少的秃头。可以看.
MyCat数据库中间件深度解析与实战教程
"全面讲解开源数据库中间件MyCat使用及原理的视频教程，涵盖了MyCat的基础、高级、集群、监控和架构剖析，适合有一定Java和MySQL基础的学员学习。" MyCat是一个广泛使用的开源数据库中间件，它以MySQL为基础，为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值