15天学习MySQL计划（运维篇）分库分表-监控-第十四天_mysql学习计划

最新推荐文章于 2024-09-10 17:22:42 发布
最新推荐文章于 2024-09-10 17:22:42 发布
阅读量882 收藏 11
点赞数 23
分类专栏： 学习资料blog.csdn.net/m0_55035988 面试辅导大厂内推 技术交流blog.csdn.net/m0_55035988 文章标签： 学习 mysql 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86400130/article/details/142059780
版权

请添加图片描述

该标签在mycat逻辑库中作为底层标签存在，直接定义了具体的数据库实例，读写分离，心跳语句。

核心属性：

  • name：唯一标识，供上层标签使用
  • maxCon/minCon：最大连接数/最小连接数
  • balance：负载均衡策略，取值0，1，2，3
  • writetype：写操作分发方式（0：写操作转发到第一个writehost，第一个挂了就切换到第二个；1：写操作随机分发到配置的writehost上）
  • dbdriver：数据库驱动，支持native，jdbc
2.rule.xml

​ rule.xml中定义所有拆分表的规则，在使用过程中可以灵活的使用分片算法，或者对同一个分片算法使用不同的参数，它让分片过程可配置化。主要包含两类标签：tableTule，Function。

请添加图片描述

3.server.xml

​ server.xml配置文件包含了mycat的系统配置信息，主要有两个重要的标签：system，user、

1.system标签

​ 对应的系统配置项及其含义，参考资料

请添加图片描述

2.user标签

请添加图片描述

priviege权限设置字段：

​	dml='0000'=增 改 查 删
​	0为关闭，1为开启
5.mycat分片
1.垂直分表

​ 场景：

​ 在业务系统中，涉及以下表结构，但是由于用户与订单每天都会产生大量的数据，单台服务器的数据存储及处理能力是有限的，可以对数据库进行拆分，原有的数据库表如下。

请添加图片描述

流程：

  1. 分别在三台MySQL中创建数据库（shopping）
  2. 修改schema.xml
  3. 修改server.xml
  4. 测试：创建表，插入数据

schema.xml内容：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<schema name="SHOPPING" checkSQLschema="true" sqlMaxLimit="100">
	 <table name="tb\_goods\_base" dataNode="dn1" primaryKey="id"/>
   <table name="tb\_goods\_brand" dataNode="dn1" primaryKey="id"/>
   <table name="tb\_goods\_cat" dataNode="dn1" primaryKey="id"/>
   <table name="tb\_goods\_desc" dataNode="dn1" primaryKey="goods\_id"/>
   <table name="tb\_goods\_item" dataNode="dn1" primaryKey="id"/>
   
   <table name="tb\_order\_item" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
   <table name="tb\_order\_master" dataNode="dn1,dn2,dn3" primaryKey="order\_id" type="global"/>
   <table name="tb\_order\_pay\_log" dataNode="dn2" primaryKey="out\_trade\_no"/>
   
   <table name="tb\_user" dataNode="dn3" primaryKey="id"/>
   <table name="tb\_user\_address" dataNode="dn3" primaryKey="id"/>
   <table name="tb\_areas\_provinces" dataNode="dn3" primaryKey="id"/>
   <table name="tb\_areas\_city" dataNode="dn3" primaryKey="id"/>
   <table name="tb\_areas\_region" dataNode="dn3" primaryKey="id"/>
	</schema>
	
	<dataNode name="dn1" dataHost="dhost1" database="shopping" />
	<dataNode name="dn2" dataHost="dhost2" database="shopping" />
	<dataNode name="dn3" dataHost="dhost3" database="shopping" />
	
	<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
 writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		
		<writeHost host="master" url="jdbc:mysql://192.168.2.1:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234.Com" />
	</dataHost>
	
	<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
 writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		
		<writeHost host="master" url="jdbc:mysql://192.168.2.2:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234.Com" />
	</dataHost>
	
	<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
 writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		
		<writeHost host="master" url="jdbc:mysql://192.168.2.3:3306?useSSL=false&amp;serverTimezone=Asia/Shanghai&amp;characterEncoding=utf8" user="root" password="1234.Com" />
	</dataHost>
</mycat:schema>

server.xml内容

<user name="root" defaultAccount="true">
		<property name="password">123456</property>
		<property name="schemas">SHOPPING</property>
</user>
2.水平分表

​ 在业务系统中，有一张（日志表），业务系统每天都会产生大量的日志数据，单台服务器的数据存储及处理能力是有限的，可以对数据库表进行拆分。

​ 对tb_log表进行拆分

请添加图片描述

1.schema.xml配置
<schema name="ITCAST" checkSQLschema="true" sqlMaxLimit="100">
    <table name="tb\_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long"/>
</schema>

	<dataNode name="dn4" dataHost="dhost1" database="itcast" />
	<dataNode name="dn5" dataHost="dhost2" database="itcast" />
	<dataNode name="dn6" dataHost="dhost3" database="itcast" />
2.server.xml的配置
<user name="root" defaultAccount="true">
		<property name="password">123456</property>
		<property name="schemas">SHOPPING,ITCAST</property>
</user>
6.分片规则
1.范围分片

​ 根据指定的字段及其配置的范围与数据节点的对应情况，来决定该数据属于哪一个分片

请添加图片描述

​ 自定义分片范围

请添加图片描述

2.取模分片

​ 根据指定的字段值与节点数量进行求模运算，根据运算结构，来决定该数据属于哪个分片。

请添加图片描述

​ 取模分片配置

请添加图片描述

3.一致性hash

​ 所谓一致性哈希，相同的哈希因子计算值总是被划分到相同的分区表中，不会因为分区节点的增加而改变原来的数据的分区位置。

​ 一致性hash配置

请添加图片描述

​ 通过在配置文件中配置可能的枚举值，指定数据分布到不同数据节点上，本规则适用于按照省份，性别，状态拆分数据等业务。

​ 枚举分片配置

请添加图片描述

5.应用指定算法

​ 运行阶段由应用自主决定路由到那个分片，直接根据字符字串（必须是数字）计算分片

​ 应用指定算法配置

请添加图片描述

6.固定hash算法

​ 该算法类似于十进制的求模运算，但是为二进制操作，例如，取id的二进制低10位与11111111111进行位&运算。

请添加图片描述

​ 固定hash算法配置

请添加图片描述

7.字符串hash解析

​ 截取字符串中的指定位置的子字符串，进行hash算法，算出存储分片位置。

请添加图片描述

8.按天分片

​ 按天来进行分片

请添加图片描述

9.按自然月分片

​ 使用场景为按照月份来分片，每个自然月为一个分片

请添加图片描述

7.mycat管理与监控
1.mycat原理

请添加图片描述

2.mycat管理

​ mycat默认开通2个端口，可以在server.xml中进行修改

  • 8066数据访问端口，即进行DML和DDL操作
  • 9066数据库管理端口，即mycat服务管理控制功能，用于管理mycat的整个集群状态
mysql -h 192.168.2.1 -P 9066 -uroot -p123455

常用命令：

命令含义
show @@help查看mycat管理工具帮助文档
show @@version查看mycat的版本
reload @@config重载加载mycat的配置文件
show @@datasource查看mycat的数据源信息
show @@datanode查看mycat现有的分片系节点信息
show @@threadpool查看mycat的线程池信息
show @@sql查看执行的SQL
show @@sql.sum查看执行的SQL统计
8.mycat-eye
1.介绍

​ mycat-web（mycat-eye）是对mycat-server提供监控服务，功能不局限于对mycat-server使用。他通过JDBC连接mycat，mysql监控，监控远程服务器（目前仅限于Linux系统）的cpu，内存，网络，磁盘。

​ mycat-eye运行过程中需要zookeeper，因此需要先安装zookeeper。

  1. zookeeper安装
  2. mycat-web安装
  3. web访问http://192.168.2.1:8082/mycat
2.添加设备测试即可
9.总结
1.分库分表介绍

​ 核心：将单台数据库服务器器的数据分散（垂直拆分，水平拆分）存储在多台数据库中

2.mycat概述

​ mycat是一个开源的分库分表的中间件

3.mycat入门

​ 入门程序

4.mycat配置

​ schema.xml，rule.xml，server.xml

5.mycat分片

​ 分片规则：范围，取模，枚举，一致性hash，固定分片hash算法，字符串hash解析算法，按天分片，按自然月分片

6.mycat管理及监控

提供监控服务，功能不局限于对mycat-server使用。他通过JDBC连接mycat，mysql监控，监控远程服务器（目前仅限于Linux系统）的cpu，内存，网络，磁盘。

​ mycat-eye运行过程中需要zookeeper，因此需要先安装zookeeper。

  1. zookeeper安装
  2. mycat-web安装
  3. web访问http://192.168.2.1:8082/mycat
2.添加设备测试即可
9.总结
1.分库分表介绍

​ 核心：将单台数据库服务器器的数据分散（垂直拆分，水平拆分）存储在多台数据库中

2.mycat概述

​ mycat是一个开源的分库分表的中间件

3.mycat入门

​ 入门程序

4.mycat配置

​ schema.xml，rule.xml，server.xml

5.mycat分片

​ 分片规则：范围，取模，枚举，一致性hash，固定分片hash算法，字符串hash解析算法，按天分片，按自然月分片

6.mycat管理及监控

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

img
img

​ 核心：将单台数据库服务器器的数据分散（垂直拆分，水平拆分）存储在多台数据库中

2.mycat概述

​ mycat是一个开源的分库分表的中间件

3.mycat入门

​ 入门程序

4.mycat配置

​ schema.xml，rule.xml，server.xml

5.mycat分片

​ 分片规则：范围，取模，枚举，一致性hash，固定分片hash算法，字符串hash解析算法，按天分片，按自然月分片

6.mycat管理及监控

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

[外链图片转存中…(img-lS1ce9Nv-1725866048760)]
[外链图片转存中…(img-WN6fFjpu-1725866048761)]

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

2401_86400130
关注
  • 23
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MySQL-day14-运维数据库职责+一键自动备份+恢复案例
作者的博客园已搬家到CSDN，访问博客园主页将默认跳转至CSDN
03-13 476
MySQL生产备份、恢复实操
104.第十九章 MySQL数据库 -- MySQL 中间件代理服务器（十六）
Raymond的博客
03-11 659
在整个IT系统架构中，数据库是非常重要，通常又是访问压力较大的一个服务，除了在程序开发的本身做优化，如：SQL语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件，已经在很多产品上进行使用了。
15天学习MySQL计划（运维篇）分库分表-监控-第十四天
征服Bug的博客
05-14 1497
​ 随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增加，若采用但数据进行数据存储，存在以下性能瓶颈：​ 分库分表的中心思想都是将数据分散存储，使得单一数据库/表的数据量变小来缓解单一数据库的性能问题，从而达到提升数据库性能的目的。​ MyCat是开源的，活跃的，基于Java语言编写的MySQL数据库中间件。可以像使用MySQL一样使用mycat，对于开发老根本感觉不到mycat的存在。优势：​ mycat是采用Java语言开发的开源数据库中间件，支持windows和Linux运行环境，下面介绍m
运维-3.分库分表
qiao2458的博客
08-29 942
拆分粒度，拆分维度lib上传jdbc的connection高版本的jar包。
分布式存储 - 含DB读写分离/主从同步/分库分表/ - 学习/实践
"代码"的日常搬运
03-22 525
主要用于解决高并发, 储存压力. 这涉及到性能与容量问题，并不是说存储，就只是考虑容量，而不用考虑性能。不过通常是为了强调容量问题的解决。
MySql整理（基础|进阶|运维）【黑马程序员视频】
習習君的博客
07-29 4505
写在前面：本篇博客为系统学习黑马程序员的mysql记录笔记，由于学习记录一直在本地进行，上传至CSDN博客与原笔记有一定的出入。由于图片直接从本地md文件中复制不过来，就直接在本地md文档中截图了，清晰度会有些下降。本篇博客主要记录了mysql的基础、进阶、运维，可以方便的随时随地学习巩固知识。...
【架构师面试-大厂内部面试题-4】-MySQL 运维基础知识面试题汇总50题
chongfa2008的博客
12-25 2166
吃透这50道题，再也不用担心sql运维了，废话不多说，咱们直接上干货！！！ 1. 请解释关系型数据库概念及主要特点？ 概念： 关系型数据库是支持采用了关系模型的数据库，简单来说，关系模型就是指二维 表模型，而一个关系数据库就是由二维表及其之间的联系所组成的一个数据组织。 特点： 最大的特点就是事务的一致性。 优点：容易理解、使用方便、易于维护、支持 SQL。 缺点： 1. 高并发读写需求：网站的用户并发非常高，往往达到每秒上万次读写请求，对于 传统关系型数据库来说，硬盘 I/O 是一个很
新版 MySQL DBA 高级视频 基于MySQL 5.7 MySQL 8.0版本.rar
07-17
│ 第十四课MySQL8.0高可用架构之Atlas.pdf │ 第十课MySQL8.0锁机制和事务.pdf │ 第十课MySQL锁机制和事务.pdf │ 第四课SQL基础语法.pdf │ ├─新版MySQL DBA综合实战班 第01天 │ 0_MySQL高级DBA公开课视频....
MySQL 学习笔记
甲三的博客
05-07 758
MySQL数据库介绍及安装 官方定义MySQL DBA工作内容 运维DBA 初级：各版本、各平台安装搭建、升级 中级：体系结构原理、基础管理（启动关闭、初始化配置文件管理、多实例管理、用户权限管理、基本SQL（增删改查））、 日志管理、备份与恢复、主从复制（构建、状态监控） 高级：高可用（MGR、InnoDB Cluster）、高性能（优化） 开发DBA 懂至少一门开发语言 ：JAVA、Python 基本SQL语句深入学习（增删改查）、数据库结构设计（建模） 高级SQL：存储过程、函数、触发器、视图、事件
2024全新Java学习路线图一条龙（视频+课件+源码资料）
码农王也的博客
04-25 1538
互联网浩瀚无际，你能来到这里，是机遇也是缘分，机遇，就像我的标题一样，你找到了一份Java 360度无死角的 Java 学习路线，而缘分让我们相遇，注定给你的学习之路搭上一把手，送你一程。整条线路除了拥有后端整个技术体系外，还涵盖了前端、大数据、云计算、运维等各大领域。在这十八般武艺汇聚全身的同时，这条学习路线也拥有着独有的特色和着重点，比如加入了极为重要且业内稀缺的基本功修炼——六套计算机基础类课程。还有多套Java基础类课程，多维度讲解帮助学习者入门。
MySQL海量数据存储与优化（上）
weixin_41274719的博客
01-19 1168
MySQL起源和分支 MySQL 是最流行的关系型数据库软件之一，由于其体积小、速度快、开源免费、简单易用、维护成本 低等，在集群架构中易于扩展、高可用，因此深受开发者和企业的欢迎。 Oracle和MySQL是世界市场占比最高的两种数据库。 IOE：IBM的服务器，Oracle数据库，EMC存储设备。都是有钱的公司产品采购，例如银行、电信、石 油、证券等大企业。 Oracle：垄断，有钱的大企业采用，互联网企业之外使用第一。 MySQL：互联网高速发展，互联网企业使用第一。 My
qmt量化交易策略小白学习笔记第61期【qmt编程之期权行情数据--get_market_data_ex函数】
fanglue3705的博客
09-09 542
获取期权行情数据 获取期权最新数据，首先需要进行数据订阅。完成合约订阅后，用get_market_data_ex函数即可提取相关信息。这个过程包含两大步骤： 第一，通过订阅操作确保能接收到你感兴趣的期权合约的更新； 第二，调用get_market_data_ex函数来实际获取并处理这些订阅到的数据,如果需要用到历史数据或过期合约数据，需要使用download_history_data进行下载。
sheng的学习笔记-AI-规则学习（rule learning）
coldstarry的专栏
09-09 812
机器学习中的“规则”(rule)通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成“若……，则……”形式的逻辑规则。​“规则学习”(rule learning)是从训练数据中学习出一组能用于对未见示例进行判别的规则。一条规则形如：在数理逻辑中“文字”专指原子公式(atom)及其否定。与神经网络、支持向量机这样的“黑箱模型”相比，规则学习具有更好的可解释性，能使用户更直观地对判别过程有所了解。另一方面，数理逻辑具有极强的表达能力，绝大多数人类知识都能通过数理逻辑进行简洁的刻画和表达。
区块链学习笔记2--区块链技术的形成 以太坊
最新发布
weixin_61074128的博客
09-10 211
以太坊的定义：以太坊是运行在一个计算机网络中的软件，他确保数据以及智能合约的小程序可以在没有宗信协调者的情况下，被所有网络中的计算机复制和处理。以太坊的改进： 交易速度加快；pow+pos算法，逐步向pos算法过渡；智能合约：不受人为因素影响，没有黑幕；比特币的出现让经济贸易变得简单，而比特币系统的不足，也同样被人诟病。于是出现了致力解决比特币不足的“V神”。以太坊的愿景是创建一个无法停止，抗屏蔽（审查）和自我维持的去中心化世界计算机。比特币的不足：交易速度慢；仅仅完成了货币的去中心化。
Android Fragment 学习备忘
sdaujz的博客
09-08 368
1.fragment的动态添加与管理：
【学习笔记】SSL证书之前向保密
Taki_UP的博客
09-10 477
本篇介绍了密码学中前向保密（Forward Secrecy）的相关内容
9.6学习记录+三场笔试
m0_62956971的博客
09-07 1148
短作业优先。
《数字信号处理》学习05-单位冲击响应与系统响应
码到成龚的博客
09-08 1185
一，单位冲激响应二，LTI系统对任意序列的系统响应三，LTI系统的性质​ 在《信号与系统》中，离散时间线性时不变系统用 唯一表征： ：单位冲击响应（或称为单位抽样响应）。输入序列是单位冲击序列，输出序列是初始状态为0时系统的输出。 1，h虽然不是特定单词的缩写，但在信号处理领域的使用已经成为一种约定，代表了系统的单位冲击响应，因此，一般用来代表离散时间LTI系统的单位冲击响应。 2，之所以强调输出序列是在初始状态为0时的系统输出，是因为在“初始状态为0”时输出序列完全基于输入序列和单
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值