日拱一卒，功不唐捐

变分自编码器（Variational Autoencoder, VAE）是一种特殊的神经网络架构，它结合了传统的自动编码器（Autoencoder）思想和概率图模型的概念。通俗来说，VAE尝试学习数据的压缩表示（我们称之为“编码”），同时确保这些编码符合某种概率分布（通常是高斯分布）。这样做有两个好处：一是可以防止过拟合，二是使得我们可以从这个分布中随机采样来生成新的、类似的数据。

目前的MNER任务主要把视觉特征作为额外的线索来帮助提升纯文本任务的性能，但是这有三点问题：一是MNER任务只提取实体-类型对，忽略了他们对应的目标框；二是提取的内容仅仅对构建纯文本的知识图谱有用，但是去无法建立多模态知识图谱；三十只识别实体类型对难以有效的进行试题消歧

宏观上来说，DETR主要包含三部分：以卷积神经网络为主的骨干网（CNN Backbone）、以TRM(Transformer)为主的特征抽取及交互器以及以FFN为主的分类和回归头，如DETR中build()函数所示。DETR最出彩的地方在于，它摒弃了非端到端的处理过程，如NMS、anchor generation等，以来端到端建模目标检测过程，并且将Transformer引入到目标检测中，打开新领域的大门）。

本文介绍了一种名为ALBEF的高效视觉语言模型，采用了对比学习预训练的方式，能够学习到图像和文本之间的丰富关系，为视觉问答、图像分类、图像生成等下游任务提供更好的表征。ALBEF主要由三部分组成：image encoder、text encoder&multimodal encoder、momentum model。它的预训练目标主要包括对比损失、掩码语言重建任务和图像文本匹配任务的损失函数。此外，作者还提出了一种Momentum Distillation的方法，用于从动量模型生成的伪目标中学习，以便有效学

基于torch171+cu110、torchvision082+cu110和torchaudio072的apex安装教程

YOLOv7Backbone原文源码解读

这篇文章我们主要从Transformer的Encoder源码入手，读懂Encoder的结构

Dropout内部机制及源码实现

本文主要从Transformer Encoder中Word embedding生成、Position embedding机制和self-attention中的mask机制三个方面的源码及原理进行解读

HorNet文献笔记

Vit网络结构及源码详解

本文从NLP的pipeline入手，介绍了几个集成小工具，详解了NLP数据预处理及词向量转化部分

基于UNet的肺部CT影像分割教程

YOLOv5网络结构改进详解

本文从原文、网络结构、代码实现三个方面系统总结了SENet、SKNET、CBAM三种注意力机制

视觉注意力机制集锦之引言1 注意力机制1.1 注意力机制简介卷积神经网络具有很强的拟合数据的能力，但是由于优化算法和计算能力的限制，在实践中，卷积网络很难达到通用近似的能力。特别是在处理规模较大的输入数据，实现复杂任务时，计算能力仍可能成为模型的瓶颈。卷积网络中的局部连接的卷积结构、池化层等设计本身可以用来简化网络结构、缓解模型复杂度和表达能力的矛盾。针对网络模型的任务，我们需要进行进一步的操作，可以在不过多增加模型复杂度的同时提高模型的表达能力。神经网络中，可以存储的信息量称为网络容量，显然，网络

查看自己制作的xywh能否跟原图中的目标对象相对应

yolov5的head详解，主要是detect部分

详细介绍了neck端的网络结构及各模块源码

本文从FPN的网络结构和源码两个方面对其进行了详细介绍

本文从yolov5s入手，细致分析了yolov5s的网络配置文件参数、backbone部分、neck部分和最终的head部分，并结合网络结构图和源码对各模块进行了详细介绍

YOLOv5配置本地目标检测数据集简略教程

基于catvsdog数据集详细讲解了继承Dataset制作数据集的全流程

pytorch配置教程

本文结合GoogleNet源码，对Inception模块、GoogleNet整体结构进行了详细的解释

本文基于CIFAR100数据集，对VGG网络的构成、源码进行了详尽的解释。

LeNet与LeNet5基于MNIST实现1 数据集概况1.1 数据组成MINIST 数据集总共包含 7 万张手写数字图片，按照 6:1 的比例划分为训练集与测试集。 图片的大小为 28x28，通道数为1，每张图片都是黑底白字，黑底在张量中用 0 表示，白字用0-1 之间的浮点数表示。具体的数据集及对应标签如表 1 所示。1.2 数据可视化使用 showdata.py 查看每一批 batch 中的图片及标签，如图 1。showdata.py代码：import torchfrom

准备工作cuda11.0+cudann8.0.4+anaconda1. 创建conda环境conda create --name NewPytorch python=3.7进入activate NewPytorch2.安装Pytorchpip3 install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio===0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

2021美赛C题赛后记录原题与翻译：Problem C: Confirming the Buzz about Hornets问题C:确认关于大黄蜂的传言In September 2019, a colony of Vespa mandarinia (also known as the Asian giant hornet) was discovered on Vancouver Island in British Columbia, Canada. The nest was quickly des

Assertion `cur_target >= 0 && cur_target < n_classes’ failed.制作数据集的时候打标签一定从0开始！！！不能以字符为标签（无法用张量求导）不能想当然地从一开始

Pytorch中对标量及张量求导1.标量对标量求导注意：在机器学习中一般x的导数是多少，如x.grad()指的是函数在变量x处的导数。pytorch求导是函数对自变量的求导，并不计算函数对中间变量的导数如y是x的函数，z是y的函数，f是z的函数，那么在求导的时候，会使用f.backwrad()只会默认求f对于叶子变量x的导数值，而对于中间变量y、z的导数值是不知道的，直接通过x.grad可以知道y.grad、z.grad的值为none。这其实就是求解雅可比(Jacobian)式.因为雅可比式可以

Pytorch训练过程中C盘缓存不断增加的问题之前在训练的过程中，C盘内存会随着训练的轮次越来越少，特别影响训练效果，今天参考大佬的博客终于把问题解决了，记录一下划重点：训练完后清空内存del inputs, target, outputs, losstorch.cuda.empty_cache()案例：def train(epoch): running_loss = 0.0 for batch_idx, data in enumerate(train_loader, 0): inp

UserWarning: indexing with dtype torch.uint8 is now deprecated, please use a dtype torch.bool instead.解决方法：1.忽略warningimport warningswarnings.filterwarnings("ignore", category=UserWarning)2.将模型中非布尔变量进行转换mask_resp = mask[:, :, :, 0:96:6]mask_joint =

Pytorch的拆分与拼接预览在 PyTorch 中，对张量 (Tensor) 进行拆分通常会用到两个函数： torch.split [按块大小拆分张量] torch.chunk [按块数拆分张量]而对张量 (Tensor) 进行拼接通常会用到另外两个函数： torch.cat [按已有维度拼接张量] torch.stack [按新维度拼接张量]1.张量的拆分torch.split函数 torch.split(tensor, split_size_or_sections, d

1.张量数据类型张量的数据类型和numpy.array基本一一对应，但是不支持str类型，有如下几种形式torch.float64 # 等同于（torch.double）torch.float32 # 默认torch.float16torch.int64 # 等同于torch.longtorch.int32 # 默认torch.int16torch.int8torch.uint8 # 二进制码，表示0-255torch.booltorch中的数据类型与python中的一样