自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(216)
  • 收藏
  • 关注

原创 MySQL进阶-8-集群架构与实践5

CAP理论也称为布鲁尔定理(Brewer’s theorem),是由计算机科学家埃⾥克·布鲁尔(EricBrewer)在2000年提出的⼀个理论,⽤来描述分布式系统在设计时必须做出的三个关键需求之间的权衡:• ⼀致性(Consistency):在分布式系统中,⼀致性指的是数据在多个节点之间是否保持同步。在⼀致性要求下,任何写操作完成后,所有后续的读操作都应该返回最新的值。• 可⽤性(Availability):可⽤性指的是系统在任何时候都能够响应⽤⼾的请求(在合理的时间内返回⼀个合理的值)。

2026-03-04 20:48:47 346

原创 MySQL进阶-8-集群架构与实践4

单表使用自增的主键就可以保证唯一性,但是集群中就不行了传统数据库软件开发中,主键⾃动⽣成技术是基本需求。⽽各个数据库对于该需求也提供了相应的⽀持,⽐如 MySQL 的⾃增键,Oracle 的⾃增序列等。数据分⽚后,不同数据节点⽣成全局唯⼀主键是⾮常棘⼿的问题。同⼀个逻辑表内的不同实际表之间的⾃增键由于⽆法互相感知⽽产⽣重复主键。虽然可通过约束⾃增主键初始值和步⻓的⽅式避免碰撞,但需引⼊额外的运维规则,使解决⽅案缺乏完整性和可扩展性。

2026-03-04 20:34:15 392

原创 MySQL进阶-8-集群架构与实践3

• 之前介绍的垂直分表,是把⼀张⼤表拆分成多张⼩表,这些表业务强相关,表与表之间是⼀对⼀关系,如果要查询⼀条完整的记录通常会使⽤关联查询(自己写sql语句),所以⼀般不会把这些表分散到不同的数据库当中,关于垂直分表这⾥不做过多的讨论。• 这个⼩节讨论重直分⽚中的垂直分库,把不同表分散到不同的数据库当中这个就是垂直分库这个是垂直分表,但是分出来的两个表,还是在同一个库,避免跨库应⽤场景。

2026-03-04 20:25:25 345

原创 MySQL进阶-8-集群架构与实践2

读写分离与数据分⽚的实现⽅式⼀般有两种:程序代码封装和中间件封装-rw-r--r-- 1 501 staff 4049 config-database-discovery.yaml # 数据库发现-rw-r--r-- 1 501 staff 3442 config-encrypt.yaml # 数据加密-rw-r--r-- 1 501 staff 3772 config-mask.yaml # 数据脱敏。

2026-03-03 20:59:57 363

原创 MySQL进阶-8-集群架构与实践1

知道MySQL集群吗?为什么要使⽤集群架构?介绍⼀下MySQL主从复制的原理?如何配置MySQL主从复制?MySQL主从复制中常⽤的SQL指令?MySQL主从复制模式中从机的IO线程与SQL线程的作⽤是什么?⼆进制⽇志与中继⽇志的作⽤是什么?MySQL集群中server_id的作⽤是什么?了解读写分离吗?读写分离的应⽤场景是什么?什么是数据分⽚?数据分⽚的⽅式都有哪些?介绍⼀下垂直分⽚与⽔平分⽚,以及应⽤场景?配置过读写分离和数据分⽚吗?

2026-03-02 21:12:11 627

原创 MySQL进阶-7-数据库的备份与恢复2

除了二进制备份,其实还有很多的方式来备份作⽤数据恢复:在硬件故障、软件错误、数据损坏或⼈为失误的情况下,备份可以帮助快速恢复数据,减少业务中断的影响。灾难恢复:在发⽣⾃然灾害(如⽕灾、洪⽔、地震)或其他灾难性事件时,备份可以确保数据不会丢失。数据完整性:定期备份有助于保持数据的完整性和⼀致性,确保数据的准确性和可靠性。数据迁移:在系统升级或迁移到新的数据库平台时,备份可以确保数据的平滑过渡。审计和报告:备份可以⽤于审计⽬的,提供历史数据以供分析和报告。

2026-02-12 10:11:31 693

原创 MySQL进阶-6-数据库的备份与恢复

知道MySQL有哪些⽇志吗?介绍⼀下MySQL⽇志的作⽤是什么?⼆进制⽇志的作⽤是什么?如何开启⼆进制⽇志?⼆进制⽇志常⻅的配置选项都有哪些?⼆进制⽇志的刷盘策略有⼏种?说⼀下它们的区别?如何查看⼆进制⽇志?了解数据库备份吗?数据库备份的分类有哪些?什么是逻辑备份和物理备份?什么是冷备、热备和温备?什么是全量备份和增量备份?进⾏数据库备份时应注意什么?mysqldump⽤过吗?介绍⼀下mysqldump的应⽤场景和使⽤⽅法?

2026-02-11 11:38:37 677

原创 MySQL进阶-5-SQL调优2

MySQL内部对程序员提交的SQL进行的进一步优化使⽤SELECT语句查询数据库中的数据是最频繁的操作,优化查询是使⽤数据库的重中之重,在查询数据时常⽤的条件查询、范围查询、表连接查询都可以进⾏优化,同样对于查询结果的处理,⽐如排序、分组、去重、限制也都可以进⾏优化。还有⼀点,程序员编写SQL语句时,出于可读性考虑和⾃⾝⽔平问题,提交到MySQL服务器的SQL⻛格各不相同,这样可能导致执⾏效率参差不⻬,MySQL内置的优化器可以帮助我们完成⼀部分优化操作。

2026-02-10 17:05:51 598

原创 MySQL进阶-4-SQL调优

说⼀下你了解的关于数据库优化要考虑哪⼏个层⾯的因素?介绍⼀下什么是索引?索引的作⽤是什么?索引⽤到了哪些数据结构?索引是如何的升查询效率的?什么时候应该创建索引?在哪些列上创建索引?索引越多越好吗?为什么?如何查看索引是否⽣效?知道执⾏计划(Explain)吗?它的作⽤是什么?执⾏计划结果中各列的含义了解吗?执⾏计划的type列的含义是什么?包含哪些内容?说说你熟悉的?如果type开中显⽰const意味什么?

2026-02-10 14:39:10 622

原创 MySQL进阶-3-SQL实战

(⾯试题)请描述数据库设计的主要步骤,并说明每个步骤的重点?请解释⼀下数据库设计中的范式,并举例说明它们的应⽤?数据库范式可以解决什么问题?在设计数据库表时,如何考虑数据的完整性和安全性?请举例说明⼀对⼀、⼀对多和多对多关系在数据库设计中的实现⽅式?请描述如何使⽤ E - R 图进⾏数据库设计,并举例说明?如何在数据库设计阶段考虑系统的扩展性?绘制ER图-- 创建C端用户表app_usre。

2026-02-09 19:16:37 501

原创 MySQL进阶-2-范式与ER图

数据库的范式是⼀组规则。在设计关系数据库时,遵从不同的规范要求,设计出合理的关系型数据库,这些不同的规范要求被称为不同的范式。关系数据库有六种范式:第⼀范式(1NF)、第⼆范式(2NF)、第三范式(3NF)、巴斯-科德范式(BCNF)、第四范式(4NF)和第五范式(5NF,⼜称完美范式),越⾼的范式数据库冗余越⼩。然⽽,普遍认为范式越⾼虽然对数据关系有更好的约束性,但也可能导致数据库IO更繁忙,因此在实际应⽤中,数据库设计通常只需满⾜第三范式即可。冗余就是相同含义的字段出现在多个表中。

2026-02-09 17:22:23 579

原创 MySQL进阶-存储过程

存储过程是⼀组为了完成特定功能的SQL语句集,经编译后存储在数据库中,⽤⼾通过指定存储过程的名字和参数来执⾏,并获取相应的结果。其实存储过程就是一个用SQL语言实现的方法特点• 封装性:将业务逻辑封装在数据库内部,减少应⽤程序的复杂性。• 可维护性:集中管理数据库操作,便于维护和更新。• 可重⽤性:可以被多次调⽤,提⾼代码的重⽤性。优点• 性能优化:存储过程在创建时编译并存储在数据库中,执⾏速度⽐单个SQL语句快。

2026-02-09 16:36:08 569

原创 redis-10-缓存-分布式锁

redis三个作用:存储数据,缓存,消息队列缓存就是最常用的场景对于硬件的访问速度来说, 通常情况下:CPU 寄存器 > 内存 > 硬盘 > ⽹络对于计算机硬件来说, 往往访问速度越快的设备, 成本越⾼, 存储空间越⼩.缓存是更快, 但是空间上往往是不⾜的. 因此⼤部分的时候, 缓存只放⼀些 热点数据 (访问频繁的数据),就⾮常有⽤了.关于 “⼆⼋定律”20% 的热点数据, 能够应对 80% 的访问场景.

2026-02-09 10:28:50 660

原创 redis-9-集群

上述的 哨兵 模式, 提⾼了系统的可⽤性. 但是真正⽤来存储数据的还是 master 和 slave 节点. 所有的数据都需要存储在单个 master 和 slave 节点中.如果数据量很⼤, 接近超出了 master / slave 所在机器的物理内存, 就可能出现严重问题了.虽然硬件价格在不断降低, ⼀些中⼤⼚的服务器内存已经可以达到 TB 级别了, 但是 1TB 在当前这个 “⼤数据” 时代, 俨然不算什么, 有的时候我们确实需要更⼤的内存空间来保存更多的数据.

2026-02-08 21:48:36 665

原创 redis-9-哨兵

Redis 的主从复制模式下,⼀旦主节点由于故障不能提供服务,需要⼈⼯进⾏主从切换,同时⼤量的客⼾端需要被通知切换到新的主节点上,对于上了⼀定规模的应⽤来说,这种⽅案是⽆法接受的,于是 Redis 从 2.8 开始提供了 Redis Sentinel(哨兵)加个来解决这个问题⼀些注意事项:• 哨兵节点不能只有⼀个. 否则哨兵节点挂了也会影响系统可⽤性.• 哨兵节点最好是奇数个. ⽅便选举 leader, 得票更容易超过半数.• 哨兵节点不负责存储数据. 仍然是 redis 主从节点负责存储.

2026-02-07 16:44:45 631

原创 redis-8-事务-主从复制

mysql事务特性:原子性,一致性,持久性,隔离性但是注意体会 Redis 的事务和 MySQL 事务的区别:• 弱化的原⼦性: redis 没有 “回滚机制”. 只能做到这些操作 “批量执⾏”. 不能做到 “⼀个失败就恢复到初始状态”.• 不保证⼀致性: 不涉及 “约束”. 也没有回滚,所以可能会不一致. MySQL 的⼀致性体现的是运⾏事务前和运⾏后 , 结果都是合理有效的, 不会出现中间⾮法状态.

2026-02-07 14:56:19 544

原创 redis-7-Spring客户端-持久化

spring:data:redis:port: 6379@AutowiredStringRedisTemplate 是RedisTemplate的子类,专门用来处理文本数据的这个类提供的方法和jedis中提供的方法就很不一样了。

2026-02-02 09:30:19 595

原创 redis-6-java客户端

java生态中,分装了resp协议,实现的redis客户端有很多,比如jedis如果redis配置在服务器上,第一可以开放6379端口(但是不好)我们还可以通过ssh的端口转发,把本地端口映射到linux端口上所以访问本地的127.0.0.1:端口,就相当于访问服务器的Linux的6379了点击服务器会话的链接属性,然后点击ssh,点击隧道,点击添加,源主机就是Windows上的8888,目标主机就是linux上的主机6379–》配置之后重新链接一下。

2026-01-31 11:38:25 619

原创 redis-5-类型补充-Scan

官网数据类型。

2026-01-30 15:41:33 664

原创 redis-4-Set-ZSet

这个set就是集合集合类型也是保存多个字符串类型的元素的,但和列表类型不同的是,集合中1)元素之间是⽆序的----》意思是顺序不重要,元素之间顺序不固定2)元素不允许重复。⼀个集合中最多可以存储 2 的32次方 到 1 个元素。Redis 除了⽀持集合内的增删查改操作,同时还⽀持多个集合取交集、并集、差集,合理地使⽤好集合类型,能在实际开发中解决很多问题集合中的每个元素和list一样都是String类型的。

2026-01-30 10:52:49 544

原创 Gradle

这里可以选择版本安装我选择的是6.9.1安装之后解压缩,配置环境变量环境变量目录应该是就是bin目录然后怎么查找idea需要的gradle版本呢找到idea的安装目录下的目录。

2026-01-28 11:43:11 198

原创 redis-3-Hash-List

⼏乎所有的主流编程语⾔都提供了哈希(hash)类型,它们的叫法可能是哈希、字典、关联数组、映射。在 Redis 中,哈希类型是指值本⾝⼜是⼀个键值对结构,形如 key = “key”,value = { {field1, value1 }, …, {fieldN, valueN } }

2026-01-25 11:49:23 909

原创 redis-2-数据结构内部编码-单线程-String命令

type 命令实际返回的就是当前键的数据结构类型,它们分别是:string(字符串)、list(列表)、hash(哈希)、set(集合)、zset(有序集合),但这些只是 Redis 对外的数据结构集合就是SetZset就是除了存元素之外,还要存储score就是权重,对权重进行优先级排序raw就是最基本的字符串,int是用来计数的,当value就是一个整数的时候,可能就会使用redis直接使用int来保存,embstr其实就是存储短字符串的,raw是存储长字符串的,这个是redis自动处理的。

2026-01-22 17:56:15 1026

原创 Redis-1-基础操作

Redis:内存中存储数据,分布式系统中更优,单体系统的话,就在这个系统里面定义变量存储不是更好吗分布式系统共享变量?------》进程间通信-------》RedisRedis可以作为数据库来使用,缺点就是存储空间比较小Redis与MYSQL结合:热点数据存储到Redis中,全部数据存储到MySQL这样就可以又大又快了存储空间大,访问速度快Redis可以做消息中间件,但是一般做缓存分布式系统MySQL:通过表得到方式来存储:关系型数据库。

2026-01-22 11:01:58 902

原创 微服务的编程测评系统-修改登录逻辑为邮箱登录

验证码确认

2025-12-02 18:03:30 1056

原创 微服务的编程测评系统-linux部署指令

apt update卸载旧版本安装docker(鉴于国内网络问题,此处使用国内源安装)添加使用 HTTPS 传输的软件包以及 CA 证书curl \gnupg \添加软件源的 GPG 密钥向 sources.list 中添加 Docker 软件源安装启动docker一步都不要少EOF使用的是阿里云服务器,https://euaqkbsw.mirror.aliyuncs.com这个是阿里云的加速镜像,必须是阿里云服务器才可以用。

2025-12-01 19:33:49 792

原创 Springboot-Spring原理2

自动装配是属性的自动装配,比如刚刚说的,set注入ben,构造方法注入bean自动配置呢SpringBoot的⾃动配置就是当Spring容器启动后, ⼀些配置类, bean对象等就⾃动存⼊到了IoC容器中,不需要我们⼿动去声明, 从⽽简化了开发, 省去了繁琐的配置操作.SpringBoot⾃动配置, 就是指SpringBoot是如何将依赖jar包中的配置类以及Bean加载到Spring IoC容器中的.Spring 是如何把对象加载到SpringIoC容器中的。

2025-11-25 21:36:25 1222

原创 Springboot-Spring原理1

创建spring项目。

2025-11-25 20:59:21 740

原创 深度学习9-循环神经网络

两个领域:一个计算机视觉,图像识别,CNN,Transformer,卷积神经网络还有一个就是自然语言处理了,循环神经网络,RNN,Transformer们平日使用的语言,如汉语或英语,称为自然语言。自然语言处理(Natural Language Processing,NLP)的目标就是让计算机理解人类语言,进而完成对我们有帮助的事情。说到计算机可以理解的语言,我们可能会想到编程语言或者标记语言等。这些语言的语法定义可以唯一性地解释代码含义,计算机也能根据确定的规则分析代码。

2025-10-22 17:34:52 1320

原创 深度学习8-卷积神经网络-CNN概述-卷积层-池化层-深度卷积神经网络-案例:服装分类

卷积神经网络卷积神经网络(Convolutional Neural Network,CNN)常被用于图像识别、语音识别等各种场合。它在计算机视觉领域表现尤为出色,广泛应用于图像分类、目标检测、图像分割等任务。卷积神经网络的灵感来自于动物视觉皮层组织的神经连接方式,单个神经元只对有限区域内的刺激作出反应,不同神经元的感知区域相互重叠从而覆盖整个视野。CNN中新出现了卷积层(Convolution层)和池化层(Pooling层),下图是一个CNN的结构:卷积层用于提取输入数据的局部特征。

2025-10-21 19:37:20 865

原创 深度学习7-配置中文-参数更新方法-应用案例:房价预测

用PyTorch进行深度学习这个一个回归问题—》选择MSE损失函数 y预测-y真实,,在平方但是房价很大—》计算出来很大其实这个就是对y进行log之后再MSE#3.自定义损失函数# float("inf")表示正无穷,这个意思就是把所有数据都变为1~正无穷,防止log出来为负数mse = nnMSELoss()

2025-10-20 00:07:23 1140

原创 深度学习6-激活函数-参数初始化和正则化-搭建神经网络-损失函数

用PyTorch进行深度学习在神经网络框架中,由多个层组成的组件称之为 模块(Module)。在PyTorch中模型就是一个Module,各网络层、模块也是Module。Module是所有神经网络的基类。在定义一个Module时,我们需要继承torch.nn.Module并主要实现两个方法:__init__:定义网络各层的结构,并初始化参数。forward:根据输入进行前向传播,并返回输出。计算其输出关于输入的梯度,可通过其反向传播函数进行访问(通常自动发生)。

2025-10-19 17:13:44 851

原创 深度学习5-张量运算函数-张量索引操作-形状操作-拼接操作-自动微分模块-机器学习案例:线性回归

常见运算函数:sum()求和mean()求均值max()/min()求最大/最小值及其索引argmax()/argmin()求最大值/最小值的索引std()求标准差unique()去重sort()排序这个就是所有相加这个就是对第一维度进行求和,就是去掉3,生成2*3的矩阵可以想象为立方体,竖着求每个单位的和比如1+2+1=4去掉第二维度,就变成3*4的矩阵了我们来看这个,怎么变成三行四列呢------》前面两行合并,中间两行合并,最后两行合并就可以了。

2025-10-19 11:45:24 1018

原创 深度学习4-PyTorch安装-张量创建-张量转换-张量数值计算

PyTorch是一个开源的Python机器学习库,基于Torch库(一个有大量机器学习算法支持的科学计算框架,有着与Numpy类似的张量(Tensor)操作,采用的编程语言是Lua),底层由C++实现,应用于人工智能领域,如计算机视觉和自然语言处理。PyTorch主要有两大特征:类似于NumPy的张量计算,能在GPU或MPS等硬件加速器上加速。基于带自动微分系统的深度神经网络。–》就是自动计算梯度PyTorch官网:https://pytorch.org/。

2025-10-18 17:54:17 906

原创 深度学习3-更新参数方法的优化-参数初始化-正则化

层级多一点,,,比增加神经元更好当神经网络的层数加深时,往往可以有效地提高识别精度;特别是对于大规模的复杂问题,通常都需要用更多的层来分层次传递信息,而且可以有效减少网络的参数数量,从而使得学习更加高效。使用深度神经网络进行的学习就被称为 深度学习(Deep Learning)。ILSVRC是近年来机器视觉领域最受追捧且最具权威的学术竞赛之一,代表了图像领域的最高水平。它包含多个测试项目,其中最有名的就是“类别分类”(Classification),该项目会进行 1000 个类别的分类,比试识别精度。

2025-10-18 11:33:51 684

原创 深度学习2-损失函数-数值微分-随机梯度下降法(SGD)-反向传播算法

神经网络的主要特点,就是可以从数据中进行“学习”。这个学习的过程,就是让训练数据自动决定最优的权重参数。神经网络(深度学习)也是机器学习的一种;跟传统机器学习方法相比,神经网络不需要人工设置 特征量(如 SIFT、HOG等)不要特征工程特征降维,这样就可以用同样的流程直接处理所有问题了。

2025-10-17 21:39:23 601

原创 深度学习1-简介-简单实现-手写数字识别

使用深度神经网络进行学习,所以叫做是深度学习1.2深度学习的特点使用多层神经网络,能够自动提取数据的多层次特征。机器学习需要我们来提取特征适合处理非结构化数据,如图像、音频、文本等。依赖大量数据和计算资源,训练时间较长。模型复杂,通常被视为“黑箱”,解释性较差。相邻层的神经元相互连接(图中下一层每个神经元都与上一层所有神经元连接,称为 全连接),每个连接都会有一个 权重。神经元中的信息逐层传递(一般称为 前向传播forward),上一层神经元的输出作为下一层神经元的输入。

2025-10-17 10:50:23 901

原创 最新版本组件的docker下载-nacos-Rabbitmq-redis-RocketMQ-java

怎么生成NACOS_AUTH_TOKEN呢NACOS_AUTH_TOKEN: Nacos 用于生成JWT Token的密钥,可以使用长度大于32字符的字符串,再经过Base64编码。我们就去这个网站用一个大于32字符的子字符串,经过Base64编码就可以生成NACOS_AUTH_TOKENNACOS_AUTH_IDENTITY_KEY和NACOS_AUTH_IDENTITY_VALUE主要是用来身份验证的,一定程度上可以随便填这样就启动成功了然后是与mysql进行绑定主要就是看官网。

2025-10-16 21:37:39 794

原创 OpenCV5-图像特征harris-sift-特征匹配-图像全景拼接-答题卡识别判卷

边界:沿着一个方向变化明显,另一个竖直方向变化不明显角点:水平竖直方向都变化明显角点特征更加明显。

2025-10-15 16:36:55 1126

原创 OpenCV4-直方图与傅里叶变换-项目实战-信用卡数字识别

就是统计每一个像素值有多少个点images: 原图像图像格式为 uint8 或 float32。当传入函数时应 用中括号 [] 括来例如[img]channels: 同样用中括号括来它会告函数我们统幅图 像的直方图。如果入图像是灰度图它的值就是 [0],如果是彩色图像 的传入的参数可以是 [0][1][2] 它们分别对应着 BGR。mask: 掩模图像。统整幅图像的直方图就把它为 None。但是如 果你想统图像某一部分的直方图的你就制作一个掩模图像并 使用它。histSize:BIN 的数目。

2025-10-14 17:40:39 1117

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除