- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 U-Net结构改进：双交叉注意力模块（DCA）
本文由迈阿密大学的研究团队于2023年3月30日发表，提出了双交叉注意力模块（Dual Cross-Attention , DCA），其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体，能够简单而有效地增强u-net结构中的跳跃连接（skip-connection）。
2023-05-07 17:15:25
11453
3
原创 FSPNet阅读笔记
目前，一些工作已尝试使用Transformer解决伪装目标检测问题，并且性能良好。这些方法要么采用Transformer作为特征解码的网络组件，要么利用现成的vision Transformer作为特征编码器的backbone。Transformer backbone的局部特征建模效果较差。全局语义和局部特征在伪装目标检测任务中都起着至关重要的作用。然而，大多数基于Transformer的方法缺乏局部区域内信息交换的局部性机制。
2023-05-07 17:13:36
675
3
原创 Rethinking Local Perception in Lightweight Vision Transformer阅读笔记
来自清华大学的团队于2023年4月份提出的一篇论文，主要介绍了一种轻量级vision transformer架构——CloFormer，用以处理移动端的图像任务。
2023-05-07 17:12:18
1399
原创 CVPR2023：BiFormer阅读笔记
作者提出了一种新的动态稀疏注意力机制，通过双层路由来实现更灵活的算力分配，让每个Query处理语义上最相关的K-V对的一小部分。在此基础上，提出的BiFormer具有良好的性能和较高的计算效率。
2023-05-07 17:11:57
11645
6
原创 ubuntu服务器常用指令
可以得到GPU占用情况和主要使用GPU的进程，如下图。可以看到进程1722405在跑训练。PPID 表示父进程号。TIME 表示执行时间。UID 表示用户ID。CMD 表示执行命令。
2023-05-04 15:38:01
431
原创 高分辨率迭代反馈网络（HitNet）阅读笔记
HitNet是2023年2月份发表在AAAI的一篇文章，作者受到图像超分辨率反馈网络的启发，以迭代反馈的方式通过高分辨率特征来细化低分辨率表示，打破了伪装目标检测的性能瓶颈。
2023-04-20 10:30:31
1193
原创 SINet-v2阅读笔记
SINet-v2整体设计思想与SINet类似，即将伪装目标分割任务分成搜索和识别两个阶段。首先，通过深层的高级特征学习对象的语义信息，生成粗略的特征图；然后，再通过特征融合的方式细化粗略特征，精确分割出伪装对象。主要改进之处在于，SINet-v2只聚合最深三层的特征，引入邻居连接解码器(NCD)和组反转注意力(GRA)两个模块大大提升了模型效果。纹理增强模块（TEM），用于捕捉放大语义线索的细粒度纹理邻居连接解码器（NCD），提供位置信息分组-反向注意力模块（GRA），从更深层细化粗略预测。
2023-04-13 16:42:25
853
原创 Transformer用于伪装目标检测
近年，研究发现 CNN 在特征提取过程中会损失结构信息，而且 CNN 的实际感受野远小于理论感受野，因此基于 CNN 的伪装目标检测模型通常不能充分地捕获全局上下文信息。2017年，Vaswani等人针对自然语言处理提出的Transformer能够利用自注意力捕获长距离依赖关系，更好地捕获全局信息。由于Transformer在计算机视觉领域中的巨大潜力，研究者们也将其引入到了伪装目标检测任务中。
2023-04-13 16:41:12
941
原创 SINet阅读笔记
SINet来自于CVPR2020的一篇文章，在伪装目标语义分割任务中取得了SOTA的效果。截至2023年3月，其改进版本SINet-V2仍然在CAMO数据集上保持SOTA的效果。
2023-03-20 22:13:47
963
1
原创 MaskFormer源码整理
按照计划对MaskFormer进行了复现，配置了模型所需的环境，在实验室服务器上跑通了训练脚本。对源码中模型搭建的部分进行学习，结合原论文深入理解整体结构。
2023-03-06 19:59:26
1256
原创 PFNet：伪装目标分割与分心挖掘
PFNet来自于CVPR2021的一篇论文（Camouflaged Object Segmentation with Distraction Mining），用于完成伪装对象分割任务。
2023-01-04 19:14:28
1577
原创 语义分割中常用的损失函数
语义分割任务可以看作像素级的分类任务，在设计基于语义分割的深度学习架构时，尤其是在伪装目标分割的特殊场景下，损失/目标函数的选择非常关键，会直接影响到算法的学习过程，进而影响到模型的收敛速度、分割准确度。
2022-12-05 21:34:47
4162
原创 Reverse Attention的代码理解
通过溯源Reverse Attention的论文，对反向注意力机制有了初步的了解。但是，仅仅通过论文很多细节的东西是没办法看到的，还是有很多疑问，这就需要阅读代码去理解。
2022-11-28 22:44:02
1296
原创 Reverse Attention反向注意模块
OSFormer模型中提到了反向边缘注意（Reverse Edge Attention）模块，通过十分简单的操作，就可以预测出伪装目标的边缘特征。作者也将OSFormer模型强大的细长边缘特征分割能力归功于反向边缘注意。那么，什么是反向注意（reverse attention）？反向注意有什么作用？为什么反向边缘注意可以预测出边缘特征？
2022-11-25 10:59:34
3927
原创 OSFormer阅读笔记
OSFormer是华科发表在ECCV 2022的一篇伪装实例分割的文章，提出了一种新的位置感知的一段式（one-stage）Transformer框架，采用了一种高效的位置感知Transformer来捕获全局特征，并动态回归伪装实例的位置和主干。OSFormer还进一步设计了多尺度特征融合，来整合从粗到细的多尺度特征，从而突出伪装实例的边缘，产生全局特征。大量实验结果表明，OSFormer效果优于其他一直模型。此外，OSFormer只需要大约3000张图像进行训练，并且能快速收敛。
2022-11-21 17:04:10
986
1
原创 Swin-Transformer听课笔记
Swin-Transformer是微软亚洲研究院发表于ICCV 2021的一篇论文，并获得了当年的最佳论文。对比 ViT，Swin-Transformer大大降低了计算量，提供了更加通用的基于Transformer的计算机视觉任务的主干网络，并且能应用到分类、检测、分割等多种计算机视觉任务中。
2022-11-15 09:04:29
1336
原创 SegFormer阅读笔记
SegFormer是2021年发表在NeurIPS的论文， 在Transformer做语义分割的开篇之作——SETR的基础上进行创新，针对SETR的不足之处进行改进。在ADE20K、Cityscapes和COCO-Stuff三个公开数据集上进行测试，其运行效率、准确性和鲁棒性都达到了SOTA的水平。
2022-11-14 19:47:19
2608
原创 U-Net听课笔记
U-Net是一篇2015年针对生物医学影像分割提出的论文，采用Encoder-Decoder的结构，是当时较早采用全卷积网络进行语义分割的算法之一。
2022-11-09 21:00:01
986
原创 SETR 阅读笔记
SETR是一篇CVPR2021的语义分割论文，论文将于语义分割视为Seq2Seq的预测任务，提出了一种解决语义分割问题的新思路。
2022-11-07 11:45:16
1609
原创 转置卷积（听课笔记）
转置卷积，可称为Transposed Convolution、fractionally-stride convolution、deconvolution。转置卷积的作用是上采样。转置卷积不是卷积的逆运算。只是将特征层的大小还原回卷积之前的大小，但其数值和输入特征层的数值是不同的。转置卷积也是卷积。
2022-11-04 10:45:25
276
原创 膨胀卷积 & 有效感受野
在语义分割任务的编程实现中，通常会用到膨胀卷积（Dilated convolution），或者说是空洞卷积。那么什么是膨胀卷积呢？Gridding Effect是什么？以及常见的Hybird Dilated Convolution (HDC)膨胀因子如何设计？
2022-11-02 17:35:31
1096
原创 Deformable DETR
DETR提出了Query Based的端到端目标检测算法，把目标检测看成了一个集合预测的问题，巧妙避开目标检测中常用的Anchor和NMS的方法，具有实现简单、拓展性强的优点。训练周期长，相比faster rcnn慢10-20倍对小目标不友好。Deformable DETR分析了存在上述两个问题的原因，并做出改变以解决上述问题。
2022-10-31 21:11:45
5474
2
原创 语义分割任务中的评价指标
归纳整理全卷积网络（FCN）原论文中提到的语义分割任务中常见的三种评价指标：Pixel Accuracy (Global Acc) 、mean Accuracy 、mean IoU。nijn_{ij}nij：类别i被预测成类别j的个数nclsn_{cls}ncls：目标类别个数（包括背景）ti=∑jnijti=∑jnij：目标类别i的总像素个数（真实标签）
2022-10-26 17:27:42
1025
原创 DETR-二分图匹配 & 匈牙利算法
DETR模型实现的创新点之一就是基于集合的目标函数，那么具体来说这个目标函数是如何设计的呢？二分图匹配、匈牙利算法、一对一匹配都是什么意思？
2022-10-24 10:50:49
3662
原创 DETR的学习与分析
通过对Transformer在语义分割任务中应用的学习，发现自己对Query-Based的模型十分陌生，而这些模型大多都是基于DEtection TRansformer这一模型设计的，于是便找来DETR的原论文进行学习与分析。
2022-10-24 09:46:04
3224
原创 实验室服务器conda使用教程
归纳整理miniConda创建虚拟环境和安装库文件的操作。在conda环境中Jupyter Notebook更改初始路径。
2022-07-11 23:41:12
5248
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人