- 博客(183)
- 收藏
- 关注
RSS订阅原创 Pytest项目_day02（接口测试）
接口测试是测试系统组件间接口的一种测试，测试的重点是要检查数据的交换，传递和控制管理过程，以及系统间的相互逻辑依赖关系等。换一种话说，接口测试就是测试这个接口的功能。
2025-05-13 23:45:59
198
原创 场景文本检测&识别学习 day10（MMdetection）
配置文件(config)由于在大型项目中，一种模型需要分：tiny、small、big等很多种，而它们的区别主要在网络结构，数据的加载，训练策略等，且差别很多都很小，所以如果每个模型都手动从头写一份，很麻烦，为了方便，现在都是直接采用配置文件的形式来定义如yaml文件、py文件等MMdetection的配置文件构成在MMdection的配置文件中，我们根据字段来定义模型训练的各部分配置文件的运作方式使用MMdection来训练自己的检测模型coco数据集的组织形式coc
2024-05-28 22:50:22
576
原创 SQL注入测试
SQL注入的原理类似于XSS：攻击者往Web页面里插入恶意Script代码常见的SQL注入过程：SQL注入分类：mysql的注释符注释符后、或中间的代码都不看mysql常用函数常见逻辑函数mysql的增删改查语句联合查询
2024-05-17 23:12:35
307
原创 场景文本检测&识别学习 day09（Swin Transformer论文精读）
WqWkWvON2⋅d)O((4N2⋅dO16N2⋅d)OM2⋅N⋅d)OM2⋅4N⋅d。
2024-05-06 16:41:51
1194
1
原创 场景文本检测&识别学习 day08（无监督的Loss Function、代理任务、特征金字塔）
无监督的Loss Function（无监督的目标函数）根据有无标签，可以将模型的学习方法分为：无监督、有监督两种。而自监督是无监督的一种无监督的目标函数可以分为以下几种：生成式网络的做法，衡量模型的输出和固定的目标之间的差距，主要考虑输入数据是怎么分布的，即 “给定Y，如何生成X”。如auto-encoder：输入一张干扰过的图，通过编码器-解码器，然后得出一张还原后的图，通过对比原图和生成的还原后的图之间的差异判别式网络的做法，衡量模型的输出和固定的目标之间的差异，主要考虑输入和输出的映射关系
2024-05-03 21:59:56
619
原创 场景文本检测&识别学习 day06（Vi-Transformer论文精读、MAE论文阅读）
16，那么线性层就会投影到长为256的一个维度，之后把它reshape到16。16个块，来解决输入序列太长的问题，如果输入图片的尺寸为224。14（224/16 = 14），那么输入序列长度就变为14。225的输入序列就变为了2。
2024-04-29 14:53:35
947
1
原创 场景文本检测&识别学习 day07（BERT论文精读）
BERT在CV领域，可以通过训练一个大的CNN模型作为预训练模型，来帮助其他任务提高各自模型的性能，但是在NLP领域，没有这样的模型，而BERT的提出，解决了这个问题BERT和GPT、ELMO的区别：BERT是用来预训练深双向的表示，并且使用没有标号的数据，同时上下文信息是左右都可以用来推测，训练好的BERT只需要增加一个输出层就可以在很多NLP的任务上得到不错的结果，同时不需要对模型进行很多针对下游任务的改动GPT使用了新架构Transformer，但是只能从单向（左侧）的上下文信息来推测，E
2024-04-26 16:41:44
661
原创 场景文本检测&识别学习 day04（目标检测的基础概念）
经典的目标检测方法one-stage 单阶段法：YOLO系列one-stage方法：仅使用一个CNN，直接在特征图上预测每个物体的类别和边界框输入图像之后，使用CNN网络提取特征图，不加入任何补充（锚点、锚框），直接输出预测框左上右下角的坐标以及物体的类别即该CNN网络在单次前向传播中，不仅提取特征，还要预测每个物体的类别和边界框优点：速度非常快，适合做实时检测任务缺点：效果通常不会太好two-stage 两阶段：Faster-RCNN 、 Mask-RCNN系列two-stage
2024-04-12 21:40:48
841
2
原创 场景文本检测&识别学习 day03 （CUDA Error解决、输入尺寸控制、Resume）
【代码】场景文本检测&识别学习 day03 （Error解决）
2024-04-12 14:05:24
635
原创 在线视频下载工具lux（原annie）安装及使用教程
安装教程下载ffmpeg，参考这篇文章：Python——Windows下载ffmpeg使用教程参考文献Python——Windows下载ffmpeg视频下载神器Lux【使用教程】
2024-04-10 16:16:42
3519
原创 Python学习 问题 day02（列表推导式、生成器推导式）
使用惰性求值的目的是要最小化计算机要做的工作。eg：生成器推导式是继列表推导式后的Python推导式，比列表推导式速度快，占内存少。：不管用什么方法访问元素，当所有元素访问结束后，立马清空生成器对象。如果需要重新访问其中的元素，必须重新创建该生成器对象。：惰性求值（Lazy Evaluation），又译为惰性计算、懒惰求值，也称为传需求调用（call-by-need）。
2024-04-09 18:07:44
844
原创 场景文本检测&识别学习 day02（AlexNet论文阅读、ResNet论文精读）
AlexNet论文精读感想在介绍部分，我们不能只介绍自己使用的方法，这很窄，比如我想用DETR，那我就不能只介绍DETR，我可以介绍一下传统的OCR，比如CNN，YOLO等
2024-04-08 22:00:44
306
原创 场景文本检测&识别学习 day01（传统OCR的流程、常见的损失函数）
传统OCR的流程传统OCR：传统光学字符识别常见的的模型主要包括以下几个步骤来识别文本预处理：预处理是指对输入的图像进行处理，以提高文字识别的准确率。这可能包括调整图像大小、转换为灰度图像、二值化（将图像转换为黑白两色）、去噪声、校正图像中的倾斜等步骤。目的是减少图像中的干扰信息，并突出文字部分。文本检测：文本检测的目的是在图像中定位文本的位置。这一步骤要解决的主要问题是识别图像中哪些区域包含文字。使用的模型通常是基于深度学习的，例如卷积神经网络（CNN）。这些模型可以学习文本的形状、大小和布局
2024-04-06 13:53:29
850
原创 使用简单MLP实现0-9数字识别，数据集为MNIST
需求：基于pytorch实现简单MLP，完成数字识别，采用MNIST手写数字作为数据集，MNIST：有6万张训练图片，1万张测试图片训练结束后，随机取3张测试图片，展示模型的预测结果和真实图片模型结构：一层线性层作为输入层，转换输入中间三层线性层一层softmax作为输出层，输出结果概率。
2024-04-05 19:46:01
1079
原创 Transformer的代码实现 day03（Positional Encoding）
【代码】Transformer的代码实现 day03（Positional Encoding）
2024-04-02 23:07:27
543
原创 Transformer的代码实现 day02（Multi-Head Self-Attention）
【代码】Transformer的代码实现 day02（Multi-Head Self-Attention）
2024-04-02 16:51:21
608
原创 Transformer的代码实现 day01（残差和layer_norm标准化）
【代码】Transformer的代码实现 day01（残差和layer_norm标准化）
2024-04-01 23:11:28
610
原创 Transformer的前世今生 day12（Transformer的三个问题）
首先此处的Attention并不是自注意力，由于K、V同源，但是Q与K、V不同源，所以不能做自注意力Q是查询变量，即已经生成的词，K=V是源语句，因此当我们要生成这个词的时候，通过Q和K、V做注意力，就能确定源语句中哪些词对将要生成的词更有作用相反，如果Encoder给Decoder的是Q矩阵，那么我们生成的词作为K、V在Q中查询，这相当于用全部信息在部分信息里查询，这做反了。
2024-04-01 19:15:17
832
原创 安装mmcv-full时报错：Could not build wheels for mmcv-full, which is required to install pyproject.toml-bas
【代码】安装mmcv-full时报错：Could not build wheels for mmcv-full, which is required to install pyproject.toml-bas。
2024-03-31 15:07:23
6722
原创 Transformer的前世今生 day11（Transformer的流程）
Transformer的流程在机器翻译任务中，翻译第一个词，Transformer的流程为：先将要翻译的句子，一个词一个词的转换为词向量送入编码器层，得到优化过的词向量以及K、V，将K、V送入解码器层，并跟解码器层将要翻译的Q进行计算，来找出相匹配的K、V，经过线性层和Softmax层得到最后翻译的结果，如下图：注意：翻译第一个词的时候，还没有已经生成好的词输入进解码器层在机器翻译任务中，翻译接下来的词，Transformer的流程为：先将要翻译的句子，一个词一个词的转换为词向量送
2024-03-28 18:17:32
850
原创 Transformer的前世今生 day10（Transformer编码器、解码器）
前情提要ResNet（残差网络）由于我们加更多层，更复杂的模型并不总会改进精度，可能会让模型与真实值越来越远，如下：我们想要实现，加上一个层把并不会让模型变复杂，即没有它也没关系，于是我们将残差块加入快速通道来实现，如下：g(x)作为激活函数的输入，x作为模型的输入，f(x)为加上的层的输出，那么原本g(x) = f(x)加入残差块x后，g(x) = f(x) + x，表明即使f(x)没有得出很好的结果，那我也可以直接用x来作为激活函数的输入，绕过f(x)残差块使很深的网络更加容易训
2024-03-27 22:37:24
388
原创 Transformer的前世今生 day08（Positional Encoding）
前情提要Attention的优点：解决了长序列依赖问题，可以并行。Attention的缺点：开销变大了，而且不存在位置关系为了解决Attention中不存在位置关系的缺点，我们通过位置编码的形式加上位置关系Positional Encoding（位置编码）通过在原输入词向量的基础上，给他加一个位置编码，组成新的输入词向量位置编码的具体公式，如下：其中：pos指当前单词在句子中的位置，i指位置编码的维度（通常来说词向量的维度为512，那么i就是0-511，表示第几维）得到位置编码
2024-03-26 19:57:51
366
原创 Transformer的前世今生 day07（Masked Self-Attention、Multi-Head Self-Attention）
Masked Self-Attention 掩码自注意力由于NLP中的生成模型，是一个一个的生成单词， 所以为了让自注意力也实现这个过程，就设计了掩码自注意力掩码：在自注意力机制中，每个输入位置都会与其他位置进行注意力计算，并计算出一个加权和。而掩码的作用是将不相关或无效的位置的注意力权重设置为0，从而将模型的关注点限定在有效的位置上。如：将未来位置的注意力权重被设置为0，以防止模型在生成当前位置时依赖未来的信息，从而达到生成模型，一个一个生成单词的效果如果只是自注意力机制，那么模型会知道这
2024-03-25 17:13:17
674
原创 Transformer的前世今生 day06（Self-Attention和RNN、LSTM的区别）
Self-Attention和RNN、LSTM的区别RNN（循环神经网络）RNN，当前的输出oto_tot取决于上一个的输出ot−1o_{t-1}ot−1作为当前的输入xt−1x_{t-1}xt−1和当前状态下前一时间的隐变量hth_tht，隐变量和隐变量的权重WhhW_hhWhh存储当前状态下前一段时间的历史信息，如果我们去掉Whh∗ht−1W_{hh} * h_{t-1}Whh∗ht−1，RNN就退化为MLP在RNN中，我们根据前一个的输出和当前的隐变量，就可以预测当前的输出。当前
2024-03-21 21:39:18
1427
原创 Transformer的前世今生 day05（Self-Attention、Attention和Self-Attention的区别）
XK≈XV≈XQWQWKWVXK≈XV≈XQq1k1q1k2dkx1x2q1z1z1x1Z1。
2024-03-20 16:25:45
1013
原创 Transformer的前世今生 day04（ELMO、Attention注意力机制）
ELMO前情回顾NNLM模型：主要任务是在预测下一个词，副产品是词向量Word2Vec模型：主要任务是生成词向量CBOW：训练目标是根据上下文预测目标词Skip-gram：训练目标是根据目标词预测上下文词ELMO模型的流程针对Word2Vec模型的词向量不能表示多义词的问题，产生了ELMO模型，模型图如下：通过不只是训练单单一个单词的Q矩阵，而是把这个词的上下文信息也融入到这个Q矩阵中，从而解决一词多义的问题注意：左侧的LSTM是融入上文信息，右侧的LSTM是融入下文信息。E
2024-03-19 22:48:13
586
原创 Transformer的前世今生 day03（Word2Vec、如何使用在下游任务中）
前情回顾由上一节，我们可以得到：任何一个独热编码的词都可以通过Q矩阵得到一个词向量，而词向量有两个优点：可以改变输入的维度（原来是很大的独热编码，但是我们经过一个Q矩阵后，维度就可以控制了）相似词之间的词向量有了关系但是，在NNLM（神经网络语言模型的一种）中，词向量是一个副产品，即主要目的并不是生成词向量，而是去预测下一个词是什么，所以它对预测的精度要求很高，模型就会很复杂，也就不容易去计算Q矩阵和词向量模型图如下：因此提出了一个专门生成词向量的神经网络语言模型----Wor
2024-03-18 23:07:48
586
原创 Transformer的前世今生 day02（神经网络语言模型、词向量）
神经网络语言模型使用神经网络的方法，去完成语言模型的两个问题，下图为两层感知机的神经网络语言模型：以下为预备概念感知机线性模型可以用下图来表示：输入经过线性层得到输出线性层 / 全连接层 / 稠密层：假设输入有n个，输出有m个，则w、b、y的个数如下：独热编码目的是让计算机认识单词用矩阵的形式，存储所有单词。且在矩阵中，每一个元素都代表一个单词，这就要求矩阵的行列等于单词数，如下图：独热编码有两个缺点：矩阵的尺寸很容易过大，因为他需要行列等于单词数相似单词之间的独热
2024-03-17 23:14:56
604
原创 Transformer的前世今生 day01（预训练、统计语言模型）
预训练在相似任务中，由于神经网络模型的浅层是通用的，如下图：所以当我们的数据集不够大，不能产生性能良好的模型时，可以尝试让模型B在用模型A的浅层基础上，深层的部分自己生成参数，减小数据集的压力使用模型A的浅层来实现任务B，由两种方式：冻结（frozen）：浅层参数不变微调（Fine-Tuning)：浅层参数会跟着任务B的训练而改变总结：一个任务A，一个任务B，两者极其相似，任务A已经通过大数据集训练出一个模型A，使用模型A的浅层参数去训练任务B，得到模型B。
2024-03-15 20:16:18
626
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人