MySQL数据库架构学习笔记（二）

最新推荐文章于 2024-03-20 17:58:47 发布
最新推荐文章于 2024-03-20 17:58:47 发布
阅读量144 收藏
点赞数
分类专栏： 数据库学习 文章标签： MySQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41385102/article/details/83994657
版权

MySQL数据库架构学习笔记（二）

一、大表带来的问题

1.1 什么样的表可以称之为大表

  1. 一个表的数据量超过千万行的时候就会对数据库性能造成影响
  2. 数据库文件巨大，表数据文件超过10G

1.2 大表会对查询造成影响

  1. 什么样的表可以称之为大表
    （1） 一个表的数据量超过千万行的时候就会对数据库性能造成影响
    （2） 数据库文件巨大，表数据文件超过10G
  2. 大表会对查询造成影响
    （1） 慢查询：很难再一定时间内过滤出所需要的数据
  3. 大表对DDL（数据定义）操作的影响
    （1） 建立索引需要很长时间，会产生的风险：

MySQL版本<5.5建立索引会锁表

MySQL版本>=5.5虽然不会锁表但会引起主从延迟

（2） 修改表结构需要长时间锁表，造成长时间的主从延迟，影响正常数据操作
4. 如何处理数据库中的大表
（1） 分库分表。难点：分表主键的选择、分表后跨分区数据的查询和统计
（2） 大表的历史数据归档，减少对前后端业务的影响。难点：归档时间点的选择、如何进行归档操作

二、大事务带来的影响

2.1 什么是事务

在这里插入图片描述

  1. 事务是数据库系统区别于其他一切文件系统的重要特性之一
  2. 事务是一组具有原子性的SQL语句，或是一个独立的工作单元

2.2 事务的四个性质

  1. 事务的原子性（ATOMICITY）
    定义：一个事务必须被视为一个不可分割的最小工作单元，整个事务中的所有操作要么全部提交成功，要么全部失败，对于一个事务来说，不可能只执行其中一部分的操作。
  2. 事务的一致性（CONSISTENCY）
    定义：一致性是指事务将数据库从一种一致性状态转换到另外一种一致性状态，在事务开始之前和事务结束之后数据库中数据的完整性没有被破坏。
  3. 事务的隔离性（ISOLATION）
    定义：要求一个事务对数据库数据的修改，在未提交完场前对于其他事务是不可见的。
    四种隔离性：（隔离性由高到低，并发性由低到高）未提交读、已提交读（不可重复读）、重复读、可串行化
  4. 事物的持久性（DURABILITY）
    定义：一旦事务提交，则其所做的修改就会永久保存到数据库中。此时即使系统崩溃，已提交的修改数据也不会丢失

2.3 什么是大事务

定义：运行时间比较长，操作的数据比较多的事务
风险：锁定太多的数据，造成大量的阻塞和锁超时。回滚所需要的时间比较长。容易造成主从延迟。

如何处理大事务？
（1） 避免一次处理太多数据
（2） 移除不必要在事务中的select操作

艾登皮尔斯
关注
专栏目录
MySql学习笔记--MySql数据库表远程映射
至尊宝
02-27 3万+
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan 需求背景 现在在做的项目分为7个服务,其中有一个单表服务,对应的数据库有一张表存储的是单表的数据,其他服务用到这张表基本是需要将本服务的表中对应的id转换为对应的name。项目初期没有分库分表,但是项目稳定一版后,架构方面考虑分库分表,这样就涉及到一个服务在开发阶段不能随意连接其他...
MySQL DBA架构师学习笔记
05-04
MySQL DBA架构师学习笔记涉及了MySQL数据库的部署、配置、监控和优化等多方面的知识点。以下是对文件内容中提及知识点的详细说明： 1. MySQL部署规划：在进行MySQL数据库部署时，需要进行前期规划，确定软件包、...
mysql数据库学习笔记
weixin_45045804的博客
10-22 3075
mysql学习笔记
MySQL高级学习笔记
weixin_44273367的博客
03-20 1653
MySQL由链接池、SQL接口、解析器、优化器、缓存、存储引擎等组成，可以分为四层，即连接层、服务层、引擎层和文件系统层。1、连接层最上面是一些客户端和连接服务，不是MySQL特有的，所有基于网络的C/S的网络应用程序都应该包括连接处理、认证、安全管理等。2、服务层中间层是MySQL的核心，包括查询解析、分析、优化和缓存等。同时它还提供跨存储引擎的功能，包括存储过程、触发器和视图等。3、引擎层存储引擎层，它负责存取数据。服务器通过API可以和各种存储引擎进行交互。
数据库学习笔记
亦梦亦醒乐逍遥的博客
03-08 6655
数据库知识一栏，配有ppt，但是中间从查询优化到并发控制没时间补了。
尚硅谷MySQL高级学习笔记 -- 1.MySQL 的架构介绍
热门推荐
exodus3的博客
01-10 1万+
1、MySQL 简介 什么是 MySQL？ MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。Mysql是开源的，所以你不需要支付额外的费用。Mysl支持大型的数据库，可以处理拥有上千万条记录的大型数据库。MySQL使用标准的SQL数据语言形式。Mysql可以允许于多个系统上，并且支持多种语言，这些编程语言包括C、C++、P
MySQL数据库学习笔记
Just For Learning
03-25 4408
MySQL数据库学习笔记 文章目录MySQL数据库学习笔记前言一、关系型数据库二、SQL语句DDL DML DQL DCL1.DDL（Data Definition Language）：2.DQL(Data Query Language)：聚合函数where 与 having 区别升序与排序分页3.DCL (Data Control Language)：查询用户用户管理权限控制4.函数(Function)：一段可以直接被另一段程序调用的程序或代码字符串函数：数值函数日期函数流程控制函数5.约束(Check
数据库MySQL学习笔记高级篇(周阳）
licux的博客
06-22 1743
数据库MySQL学习笔记高级篇1. mysql的架构介绍mysql简介高级MysqlmysqlLinux版的安装mysql配置文件mysql逻辑架构介绍mysql存储引擎2. 索引优化分析性能下降SQL慢常见通用的Join查询索引简介性能分析索引优化3. 查询截取分析查询优化 1. mysql的架构介绍 mysql简介 高级Mysql 完整的mysql优化需要很深的功底，大公司甚至有专门的DBA写上述 mysql内核 sql优化工程师 mysql服务器的优化 各种参数常量设定 查询语句优化 主从复制 软
数据库的学习笔记（二）
qq_44418077的博客
12-10 507
关系型数据库
sqlmap获取mysql数据库,SQLMAP学习笔记2 Mysql数据库注入
weixin_42350506的博客
03-27 478
SQLMAP学习笔记2 Mysql数据库注入注入流程(如果网站需要登录，就要用到cookie信息，通过F12开发者工具获取cookie信息)sqlmap-u"URL"--cookie="名称=值;名称=值"--batch #其中-u参数指定目标URL，--batch参数采用默认选项、不进行询问。结果发现是可注入的1、sqlmap -u "url" --dbs # 获取数据库；2、sq...
Qt学习笔记（1）——安装MySQL、添加MySQL数据库
qq_45362336的博客
05-09 2073
参考链接：进入官网：https://www.mysql.com/downloads/ 点击MySQL Community(GPL) Downloads 下载社区版 点击X86，64bit下载。 点击No, thanks…直接下载。 解压到英文目录，并在目录下新建一个 my.ini 文件，中间的内容包括： 1.1.1 添加系统变量 为了方便登录操作mysql，在这里我们设置一个全局变量 点击"我的电脑"–>“属性”–>‘‘高级系统设置’’–>‘‘环境变量’’,接下来如下图所操作： 新建系统变量，变量名
MySQL 数据库设计复习笔记及项目实战
09-11
本篇笔记主要聚焦于MySQL数据库设计的基础知识与实战经验，结合PHP系统中的常见数据库架构，以提高数据库设计的效率和性能。 一、设计工具选择 MySQL Workbench 是MySQL官方推荐的数据库设计和管理工具，尤其适用...
MySQL架构与内部模块学习笔记
08-14
MySQL 架构与内部模块的学习是理解数据库工作原理的关键，特别是对于MySQL这样的流行关系型数据库管理系统。本笔记主要探讨了MySQL 5.7版本的架构和内部组件，重点关注了SQL查询的执行流程、通信协议、连接管理以及...
Mysql数据库优化学习笔记
01-21
MySQL数据库优化学习笔记 在数据库管理系统中，MySQL是一款广泛应用的关系型数据库，因其开源、免费、高效的特点，被广泛用于各种规模的项目。然而，随着数据量的增长和业务复杂度的提高，性能优化变得至关重要。本...
MySQL学习笔记 | 01-为什么要使用数据库|data-455890.pdf
12-14
另一种是基于客户端-服务端架构的DBMS，如MySQL、Oracle和SqlServer，它们更适合处理大规模并发访问和海量数据的场景，广泛应用于互联网和企业级应用。 SQL，全称为Structured Query Language，结构化查询语言，是...
基于yolov3结合卡尔曼滤波匈牙利算法虚拟线圈的车流量检测python源码+项目说明.zip
09-21
本项目专注于视频基的车辆跟踪与流量统计，依托深度学习技术，实时追踪路面车辆动态并精准统计各车道车流量。该项目通过以下核心步骤高效处理输入视频数据： 高精度目标检测：采用YOLOv3模型，凭借其卓越的实时性与准确性，快速识别视频中的车辆目标，为后续追踪奠定坚实基础。 稳定目标追踪：集成SORT（Simple Online and Realtime Tracking）算法，结合卡尔曼滤波器预测车辆未来位置，同时运用匈牙利算法优化目标间的匹配，实现连续、稳定的车辆追踪，有效应对遮挡、交叉等复杂场景。 智能车流量统计：借鉴虚拟线圈概念，巧妙设计算法以监测穿越预设区域的车辆，自动计数并准确统计各车道车流量，为交通管理与分析提供可靠数据支持。 整体而言，本项目通过融合先进的目标检测与追踪技术，结合创新的流量统计方法，构建了一个高效、精准的实时车辆跟踪与流量统计系统，为智慧交通领域的发展贡献力量。
本科毕业设计--基于深度学习的人脸面部表情识别.zip
最新发布
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
雷电模拟器改成真机环境
09-21
在Android系统中，模拟器通常会被识别为非真实的设备，这可能导致某些应用或服务无法正常运行，尤其是那些需要硬件信息或root权限的应用。改真机环境意味着通过技术手段使模拟器的行为更接近真实的Android设备，包括模拟设备硬件信息、IMEI、MAC地址等，以绕过检测并提升兼容性。LSPSED（Linux System Property Setter and Editor）模块是Magisk的一个扩展，专门用于修改Android系统的系统属性。通过LSPSED，我们可以更改设备的各种系统属性，如设备型号、制造商信息等，这些修改对于使模拟器看起来更像真实设备至关重要。在使用过程中，还需要添加几个机型模块，这些模块通常包含了特定设备的系统配置信息，如设备代号、硬件信息等。通过安装这些模块，雷电模拟器可以模仿各种流行的Android设备，进一步提高应用的兼容性和真实性。
CenterNet 部署版本，便于移植不同平台（onnx、tensorRT、rknn、Horizon）
09-21
CenterNet 是一种用于目标检测的神经网络架构，它的核心思想是利用目标的中心点作为检测的关键信息。这种方法与传统的目标检测方法（如基于边界框的方法）有所不同，因为它不直接预测目标的边界框，而是预测目标的中心点坐标和目标的宽度与高度。 CenterNet 的主要特点包括： 1. **中心点预测**：网络输出目标的中心点坐标，以及目标的宽度和高度。 2. **热图（Heatmap）**：网络生成一个热图，其中每个像素点的值表示该点成为目标中心点的概率。 3. **回归任务**：除了中心点坐标，网络还需要预测目标的宽度和高度，这通常通过预测中心点周围的偏移量来实现。 4. **多任务学习**：CenterNet 通常会同时预测目标的类别、中心点坐标、宽度、高度以及目标的旋转角度（在某些变体中）。 5. **端到端训练**：CenterNet 可以直接在最终的目标检测任务上进行端到端的训练，无需复杂的区域提议网络（Region Proposal Network, RPN）或锚点（anchor）机制。 6. **高效性**：由于省略了传统目标检测中的一些步骤，CenterNe
MySQL数据库学习笔记：从基础到进阶
"MySQL学习笔记" MySQL是一个广泛使用的开源关系型数据库管理系统（RDBMS），特别适合与PHP等Web开发语言配合使用。它的客户端/服务器（C/S）架构允许用户通过客户端应用程序与运行在另一台计算机上的MySQL服务器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值