- 博客(65)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 End-to-End Multi-Person Pose Estimation with Transformers
本篇论文借鉴DeformableDetr的范式来回归人体2d姿态，有关DeformableDetr可参考：1）
2024-04-14 10:12:03
735
原创 DETR Doesn’t Need Multi-Scale or Locality Design
自Detr以来，后续paper的改进的方向：主要是将归纳偏置重新又引入进Detr结构，比如DINO，ConditionDetr，HybridMatch等。但这与Detr原始简洁的结构设计背道而驰。于是本篇工作旨在保持Detr简洁结构设计上，提高其精度。关于DETR相关内容可参考：1）Detr2）3）4）DAB-DETR5）DN-DETR6）DINO。
2024-03-13 22:18:41
901
原创 A ConvNet for the 2020s
发表时间：CVPR2022code链接：作者及组织： Zhuang Liu，Hanzi Mao来自Meta和UC Berkeley。一句话总结：仿照swin-T思想，重新设计ResNet结构，使其逼近并超过swin-T。
2024-01-31 18:40:07
336
原创 On Data Scaling in Masked Image Modelin
本文验证SIMMIM无监督预训练方法，是否会出现与NLP类似的拓展法则现象。
2024-01-17 20:37:29
860
原创 SimMIM: a Simple Framework for Masked Image Modeling
本文提出一种新的自监督视觉预训练方法，是跟MAE同期工作 ，两篇论文有点儿类似，但本文较MAE额外验证MIM在swin-transformer网络上也有效。
2024-01-17 20:34:08
447
原创 DINO:DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection
该篇论文在DN-DETR基础上，额外引进3个trick进一步增强DETR的性能：在12epoch下coco上达到了49.0map。本文将分别介绍这3个trick，
2024-01-17 20:31:28
992
1
原创 DN-DETR：query去噪训练加速Detr收敛
该篇论文发现Detr收敛慢原因来自匈牙利一对一匹配，于是在训练阶段额外引入object query来学习加噪的gt，提高了收敛速度和精度。
2024-01-17 20:27:06
466
原创 目标检测常用Optimizer及LearningRate的代码实现
在本人阅读目标检测相关论文时，一直对论文中所介绍的优化器及学习率比较困惑，尤其在复写论文代码时，很可能会因参数对不齐而导致最终的复现结果大相径庭。因此，本文旨在记录相关论文在中所使用的优化器及其code实现。（本文不定时更新…）在mmdetection中retinanet的优化器包含两部分：优化器：sgd；学习率调整器包含warmup（热身500个it额rationo），并在第9轮和第12轮时学习率以指数的形式衰减0.1倍。
2023-03-12 15:39:25
732
1
原创 Pytorch中‘内存共享’和‘内存连续’特性总结
本文旨在记录pytorch的API如何影响Tensor运算的‘内存共享性’和‘内存连续性’。’内存共享‘可以理解为浅拷贝；’内存连续’就是Tensor在信息区的内存空间上的连续性。本文会结合代码介绍pytorch中的op是如何影响这两个性质的。大家可先扫一眼下面的代码：这里简单介绍两个API，is_contiguous()能够判断一个Tensor的**信息区**上是否‘内存连续’；.data_ptr()能够返回张量在内存空间上的地址，可用于判断两个张量是否‘内存共享’。
2022-10-16 15:40:41
2310
7
原创 yolo-pose环境搭建及训练和测试
扔掉学术偏见，拥抱工程化的Yolo。由于一直没有使用过yolo，因此本文旨在从0基础配置yolo环境并训练和测试。论文地址代码地址有问题欢迎+vx: wulele2541612007，后续有空会出yolo-pose的源码解读，敬请期待。......
2022-08-27 22:14:45
6099
24
原创 mmdetection最新版食用教程（一）：安装并运行demo及开始训练coco
两个月没碰mmdetection了，今天突然发现更新迭代了好几版了，于是重新安装体验了下，发现安装及使用越来越方便了。故打算重新更新几篇mmdet的博文。本文介绍最新的mmdet = 2.25.1版本的安装及demo及运行coco数据集训练。mmdetection的安装更加人性化了，但mmdetection的整体架构没有变，因此，该系列文章会更加详细介绍mmdetection的架构流程以及检测论文代码解读等，敬请期待。若有问题欢迎+vx：wulele2541612007，加群一起交流学习。......
2022-08-06 20:51:34
5080
原创 Swin_Transformer源码解读
文章目录前言1、模型总体结构2、使用步骤1.引入库2.读入数据总结前言 本文记录下swin_transformer的令我比较困惑的部分：相对位置编码和滑动窗口自注意力。非常感谢大佬的解析：知乎链接。本篇博客只是在该知乎链接基础上分析下源代码，建议读者先理解上述链接解析。1、模型总体结构 swin_transformer的结构对标的是resnet，即特征图每经过一个block尺寸降倍，通道数翻倍。简单说下网络的pipline：2、使用步骤1.引入库2.读入数据总结...
2022-06-01 15:02:42
2955
2
原创 DABDetr论文解读+核心源码解读
文章目录前言1、论文解读1.1.空间注意力热图可视化1.2.模型草稿1.3.详细模型1.4.设置温度系数1.5.实验2、代码讲解2.1.Decoder2.2.DecoderLayer总结前言 本文主要介绍下发表在ICLR2022的DAB-Detr论文的基本思想以及代码的实现。 1、代码地址 2、论文地址 另外，感兴趣可以看下本人写的关于detr其他文章： 1、nn.Transformer使用 2、mmdet解读Detr 3、DeformableDetr 4、ConditionalDetr
2022-04-19 17:00:58
5790
原创 ConditionalDetr论文解读+核心源码解读
文章目录前言1、论文介绍1.1、研究问题2、核心代码1.引入库2.读入数据参考前言 本文主要介绍下ConditionalDetr论文的基本思想以及代码的实现。 代码地址：https://github.com/Atten4Vis/ConditionalDETR 论文地址：https://arxiv.org/pdf/2108.06152.pdf1、论文介绍1.1、研究问题 本文2、核心代码1.引入库2.读入数据参考 https://zhuanlan.zhihu.com/p/401916
2022-04-16 17:04:14
7322
8
原创 Detr空间注意力热图及语义注意力热图可视化
文章目录前言1、matplotlib常用操作2、hook简介3、可视化resnet50最后一层特征图2.1.引入库前言 本篇主要借助matplotlib可视化pytorch中的特征图可视化，首先介绍matplotlib模块使用，其次介绍pytorch中hook的用法，最后以若干例子来进行可视化分析。1、matplotlib常用操作2、hook简介3、可视化resnet50最后一层特征图'''代码来源于facebook_detr'''#导入包import requestsfrom PI
2022-04-13 19:25:35
7156
21
原创 Pytorch中模型常用片段汇总
文章目录前言1、统计模型的可学习参数的数量2、模型不同位置使用不同学习率N、分布式相关前言 本文主要整理一些pytorch关于搭建模型过程中常用的代码片段。1、统计模型的可学习参数的数量 这个指标是我在conditional detr论文中看见的，即比较的是detr和conditional detr两个方法参数的数量。注意，此处统计的是数量，并不是参数所占有的内存大小。贴上公开源码：n_parameters = sum(p.numel() for p in model.parameters()
2022-04-06 14:52:31
1981
原创 DeformableDetr论文简介+mmdet源码解读
文章目录前言一、论文解读1.1. 研究问题1.2. 可形变注意力模块1.3. 拓展到多层特征图1.4. Encoder部分1.5. Decoder部分1.引入库二、 mmdet源码讲解2.1. 图像特征提取2.2. 生成mask和位置编码2.3. 送入Transformer2.3.1. 前处理部分总结前言 论文地址 本篇博客内容有点儿多，包含论文解读和源码解读两部分，当然，限于篇幅原因，本人不可能做到面面俱到。不过大家若想厘清Transformer–>detr–>deforable de
2022-04-05 17:09:18
7032
8
原创 mmdetection之Detr源码解读
文章目录前言1、2、transformer1.encoder部分2.decoder部分总结前言1、detr_head.pydef forward_single(self, x, img_metas): """"Forward function for a single feature level. Args: x (Tensor): Input feature from backbone's single stage, shape [bs,
2022-03-25 19:11:07
10954
原创 借助nn.Transformer实现一个简单的机器翻译任务
文章目录前言1、直接上手1.1. 构造transformer对象1.2. 准备前向传播的八个参数1.3. forward2、原理介绍2.1. 直观上介绍2.2. 内部原理介绍总结附前言 首先贴上nn.Transformer官方介绍。网上有许多关于这个函数的解释，但道理我都懂，具体怎么实战我是一个也没找到。最直观的就是前向传播需要传入下图中的八个参数，具体怎么用，长啥样子着实让人摸不着头脑。因此本人自己实现了一个机器翻译的简单任务。贴上GitHub链接：https://github.com/wulel
2022-03-23 14:59:49
4323
12
原创 torchvision加载ResNet除全连接层的权重
简单贴下如何加载torchvision中预训练权重，要不总是忘。import torchimport torch.nn as nnimport torchvisionclass ResNet(nn.Module): def __init__(self): super(ResNet, self).__init__() pass # 往ResNet里面添加权重 def init_weights(self, pretrained = True)
2022-02-14 10:54:34
5085
3
原创 MMDet逐行代码解读之ResNet50+FPN
文章目录前言1、ResNet501.1. 构建一个resnet501.2. 搭建过程1.2.1 stem部分1.2.2 ResLayer部分1.2.3 冻结部分参数1.2.4 重写train方法1.3. 前向传播2、FPN2.1.2.2.总结前言 本篇是MMdet逐行解读第五篇。从本篇开始介绍mmdet/models文件夹内容。首先介绍最常用的resnet50+fpn结构。 历史文章如下： AnchorGenerator解读 MaxIOUAssigner解读 DeltaXYWHBBoxCo
2022-02-13 18:53:52
8709
7
原创 MMDet逐行代码解读之正负样本采样Sampler
文章目录前言1、构造一个简单的sampler2、BaseSampler类3、RandomSampler类前言 本篇是MMdet逐行解读第四篇，代码地址：mmdet/core/bbox/samplers/random_sampler.py。随机采样正负样本主要针对在训练过程中，经过MAXIOUAssigner后，确定出每个anchor和哪个gt匹配后，从这些正负样本中采样来进行loss计算。本文以RPN的config进行讲解，因为该部分用到了随机采样来克服正负样本不平衡；而在RetinaNet中则使用f
2022-01-24 20:50:47
2716
原创 MMDet逐行解读之DeltaXYWHBBoxCoder
文章目录前言1、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言 本篇是MMdet逐行解读第三篇，代码地址：mmdet/core/bbox/coder/delta_xywh_bbox_coder.py。历史文章如下： AnchorGenerator解读 MaxIOUAssigner解读1、pandas是什么？二、使用步骤1.引入库2.读入数据总结...
2022-01-23 22:39:39
3204
3
原创 MMDet逐行解读之MaxIOUAssigner
文章目录前言1、从一个简单例子入手二、1.2.总结前言 本篇是MMdet逐行解读第二篇，代码地址：mmdet/bbox/assigners/max_iou_assigner.py。历史文章如下： AnchorGenerator解读1、从一个简单例子入手二、1.2.总结...
2022-01-22 10:11:06
3507
2
原创 MMDet逐行解读之AnchorGenerator
文章目录前言1、base_anchors的生成2、grid_anchors的生成总结前言 本篇主要介绍mmdet/core/anchor/anchor_generator.py文件下的AnchorGenerator类。以RetinaNet的配置作为说明。anchor_generator_cfg = dict( type='AnchorGenerator', octave_base_scale=4, # base_anchor的大小 scales_per_octa
2022-01-15 15:46:40
6227
3
原创 MMDetection之pipline详解
文章目录前言1、CustomDataset类实例化2、Pipline3 、DefaultFormatBundle3.1 DataContainer类4、Collate总结前言 上篇介绍了mmdet如何构建dataset的大体思路。本篇则更详细的介绍mmdet如何读取数据的。1、CustomDataset类实例化 在mmdet/datasets/custom.py中定义了类CustomDataset，大多数据集的Dataset的实现均需继承该类，比如coco数据集。不同Dataset类初始化过程大
2022-01-07 20:49:22
5924
原创 源码解读ReDet：A Rotation-equivariant Detector for Aerial Object Detection
文章目录前言1、解决的问题2、模型结构2.1.ReCNN2.2. RiRoiAlign总结前言 本篇解读2021CVPR旋转目标检测论文：ReDet:A Rotation-equivariant Detector for Aerial Object Detection。附上地址和源码链接：论文下载地址源码地址1、解决的问题 这是本人组会上做的ppt。简单说创新点有两个： 1）利用NIPS2019的e2cnn思想重写了ResNet50并命名为ReCNN，使得CNN具有旋转等变性。即当输入图像发
2022-01-02 10:51:00
5355
12
原创 MMCV之Runner介绍
文章目录前言1、BaseRunner类2、EpochBasedRunner3、IterBasedRunner总结前言 mmcv/runner/base_runner.py文件中，定义了runner类。该类用于管理一个模型的训练和评估过程。这里放张官方示意图（runner简单来说就是实现了右边是个红色框的类）：1、BaseRunner类 该类是所有子runne的r基类，贴下最核心的代码（好多细节我给删除掉了，因为太多了）：class BaseRunner(metaclass=ABCMeta):
2021-12-26 10:17:06
5000
原创 Pytorch常用API总结
文章目录前言1、torch.sum()1.1 torch.sum(input, dtype=None) --> Tensor1.2 torch.sum(input, dim, keepdim) --> Tensor前言 本文主要用于记录pytorch中常用API的使用方法以及注意事项。很多api在pytorch的官网已经给出了详细的解释，但本人还想整理自己一份。本文不定期更新。1、torch.sum()1.1 torch.sum(input, dtype=None) --> Te.
2021-12-20 10:48:07
4337
3
原创 Pytorch的scatter函数详解
文章目录前言1、官方文档解释2、举个例子总结前言 在看FCOS算法源码时，发现获取正样本点用到了scatter这个函数，故记录下。1、官方文档解释 先贴出链接：scatter官方解读Tensor.scatter_(dim, index, src, reduce=None) → Tensor 接收三个参数： dim, index和src。该函数作用就是在dim维度上，根据index提供的索引，从src中提取对应元素来赋值给Tensor。 以下是官方给的一个三维张量例子。 需要注意两个点：
2021-12-10 18:40:42
2136
原创 mmcv拓展cuda算子入门篇
文章目录前言1、整体目录结构1、roi_align_cuda_kernel.cu2、核函数的声明和动态分发3、roi_align.cpp借助c++调用核函数4、pybind绑定--Python调用c++5、roi_align.py总结前言 本篇主要介绍mmcv中ops文件夹下算子的拓展流程，由于本人也是菜鸡，许多代码细节看不懂。仅能说个大概，若有疑问或者感兴趣，欢迎讨论：+q2541612007，一起共同进步。1、整体目录结构 mmcv中的ops如下图所示：在本文中，为了便于读者从易到难理解拓展流
2021-11-23 18:41:29
3383
原创 detectron2源码阅读4--注册器构建模型
文章目录前言1、Registry介绍2、构建ResNet50为例2.1. 构造ResNet类2.2 利用Registry注册ResNet3、SparseRCNN总结前言 本文主要介绍detectron2如何构建模型。本文将首先介绍注册器，然后介绍如何利用注册器注册模型，最后介绍下构建流程即可。感兴趣可以看下mmdetection中注册器,你会发现这两种优秀框架所用到的设计思想一致。1、Registry介绍 Registry你可以理解成一个能够存储类的字典。比如{‘BackBone’, resne
2021-07-28 16:42:19
1253
原创 detectron2源码阅读3--利用mapper封装dataset
文章目录前言1、DatasetCatalog和MetadataCatalog对象2、dataset构建1. 通过DatasetCatalog读取数据集2. mapper封装dataset_dict3. 构建dataset总结前言 detectron2中对读入的数据集格式有特定要求，比如说需要将voc和coco格式数据集转成dataset_dict的形式。这么干说可能你也听不明白，还是一步一步来吧。1、DatasetCatalog和MetadataCatalog对象 本次分析代码主要在detect
2021-07-26 15:41:26
1119
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人