CNN / Transformer
文章平均质量分 94
CNN and Transformer
bryant_meng
究天人之际,通古今之变,成一家之言。
展开
-
【Snapshot Ensembles】《Snapshot Ensembles:Train 1,Get M for Free》
ICLR-2017。原创 2024-04-17 20:14:44 · 895 阅读 · 0 评论 -
【CLR】《Cyclical Learning Rates for Training Neural Networks》
WACV-2017。原创 2024-04-15 17:08:42 · 808 阅读 · 0 评论 -
【SGDR】《SGDR:Stochastic Gradient Descent with Warm Restarts》
ICLR-2017。原创 2024-04-12 16:04:07 · 1087 阅读 · 0 评论 -
【GN】《Group Normalization》
ECCV-2018更多论文解读,可参考。原创 2024-04-10 20:09:41 · 576 阅读 · 0 评论 -
【Transformer】Introduction to Transformer
学习笔记。原创 2024-04-03 10:31:00 · 256 阅读 · 0 评论 -
【DeepLab-v1】《Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs》
ICLR-2015声名显赫的家族,是时候顶礼膜拜一波了!文章目录1 Background and Motivation2 Advantages / Contributions3 Method4 Experiments4.1 Datasets5 Conclusion(own) / Future work1 Background and Motivation近年来,深度卷积神经网络(Deep C)在计算机视觉系统的性能提高到了一个新的高度We show that responses at th.原创 2024-03-25 19:26:52 · 906 阅读 · 0 评论 -
【EDSR】《Enhanced Deep Residual Networks for Single Image Super-Resolution》
提升宽度可以显著提升 model capacity,但是 inception-v4 中观察到 if filters number(width) 超过 1000,网络迭代后会慢慢死掉(average pooling 之前的 layer的输出为0),作者加大宽度的时候也会遇到这个问题,解决办法, Scaling of the Residuals——训练的时候,对应任务部分才训练,其余部分都冻住,例如训练 x2 SR 的时候,x3 和 x4 相关 resblock 被冻结。原创 2024-03-19 20:53:13 · 1029 阅读 · 0 评论 -
【EfficientNetV2】《EfficientNetV2: Smaller Models and Faster Training》
googleICML-2021efficientNet v1(【EfficientNet】《EfficientNet:Rethinking Model Scaling for Convolutional Neural Networks》) 的基础上升级, faster training speed and better parameter efficiency作者观察到提出 EfficentNet v2,用 training-aware neural architecture search and scal原创 2024-03-14 10:10:24 · 827 阅读 · 0 评论 -
【SiamFC】《Fully-Convolutional Siamese Networks for Object Tracking》
作者基于全卷积孪生网络,来实现单目标跟踪,且只要是目标检测的数据集,都可以拿来训练(the fairness of training and testing deep models for tracking using videos from the same domain is a point of controversy)v 是 score map 上的得分(0-1)之间。缺点:框的 spatial ratio 是固定的。每个空间位置的 b 应该是相等的吧。训练的时候用的 SGD 优化。原创 2024-02-22 17:36:25 · 911 阅读 · 0 评论 -
【Light Reflection】《Aurora Guard:Real-Time Face Anti-Spoofing via Light Reflection》
arXiv-2020。原创 2024-02-07 10:36:34 · 828 阅读 · 0 评论 -
【PSA】《Polarized Self-Attention: Towards High-quality Pixel-wise Regression》
arXiv-2020。原创 2024-02-05 09:44:33 · 1187 阅读 · 0 评论 -
【FAS Survey】《Deep learning for face anti-spoofing: A Survey》
PAMI-2022最新成果:https://github.com/ZitongYu/DeepFAS。原创 2024-01-31 10:51:52 · 1054 阅读 · 0 评论 -
【Visual Object Tracking】Learning notes
跟踪的定义:在第一帧中给定目标框,在后续帧中不断对目标定位,实际上是一个 one-shot learning 过程。目标视觉跟踪(Visual Object Tracking),大家比较公认分为两大类:生成(generative)模型方法和判别(discriminative)模型方法在此间基础上还有协同跟踪方法:将生成式跟踪方法与判别式跟踪方法相结合目前比较流行的是判别类方法,也叫检测跟踪(tracking-by-detection)原创 2024-01-23 15:43:58 · 873 阅读 · 0 评论 -
【CA】《Coordinate Attention for Efficient Mobile Network Design》
CVPR-2021。原创 2024-01-18 15:52:43 · 920 阅读 · 0 评论 -
【GSConv】《Slim-neck by GSConv: A better design paradigm of detector architectures for XXX》
arXiv-2022。原创 2024-01-18 11:16:44 · 1071 阅读 · 0 评论 -
【GAM】《Global Attention Mechanism:Retain Information to Enhance Channel-Spatial Interactions》
arXiv-2021原创 2024-01-09 15:51:18 · 837 阅读 · 0 评论 -
【CCNet】《CCNet:Criss-Cross Attention for Semantic Segmentation》
ICCV-2019原创 2024-01-09 13:53:21 · 1137 阅读 · 0 评论 -
【NAM】《NAM:Normalization-based Attention Module》
提出 Normalization-based Attention Modul,在 resnet 和 mobilenet 上 验证了其有效性。看看作者开源的代码,https://github.com/Christian-lyc/NAM。文章篇幅较短,细节未可知,eg: pixel normalization 的具体实现。提升不是特别的明显,优势在于基本没有引入额外的参数量,下面具体看看参数量。乘以 4,仅看作者开源的代码的话,应该是乘以 2,也就是 BN 的参数量。原创 2023-12-22 15:31:31 · 172 阅读 · 0 评论 -
【Shuffle Attention】《SA-Net:Shuffle Attention for Deep Convolutional Neural Networks》
代码中看作者的 group normal 是当 instance normal 来做的(groups 的数量同 channels),这个操作有 spatial attention 的感觉,但是乘以一个 w 再加个 b 就有点通道注意力的感觉了,最后 sigmoid 的话标配,混合了空间和通道,感觉 spatial attention 的 learning 的过程都集中在了 instance normal 层。以 (1,256,4,4) 输入 G=8 为例,写下各个流程中特征图 shape 变化情况。原创 2023-12-19 14:53:11 · 929 阅读 · 0 评论 -
【Transformer】ViT and TNT(2)
学习笔记。原创 2023-12-18 11:15:46 · 197 阅读 · 0 评论 -
【Transformer】Transformer and BERT(1)
学习笔记。原创 2023-12-18 10:48:56 · 380 阅读 · 0 评论 -
【EMFace】《EMface: Detecting Hard Faces by Exploring Receptive Field Pyramids》
arXiv-2021。原创 2023-11-27 13:40:41 · 288 阅读 · 0 评论 -
【Yolov5 Traffic Sign】《Improved YOLOv5 network for real-time multi-scale traffic sign detection》
采用 FPPI 为横坐标,MR 为纵坐标的曲线中,均匀选取 范围内的 9 个FPPI,得到他们对应的9个值,并对这几个纵坐标值进行平均,最后通过指数运算上述平均值恢复为MR的百分比形式,就获得了用来量化MR-FPPI 曲线的指标,该指标。,输入的 C5 本身就丢失的比较多,空间信息回不来了呢?如果 pooling 核不一样,同 yolov5 的 SPP,那和 dilation 搭配就有点怪怪的感觉,没有看代码。损失用的 CIoU,直接引用就好了,还来个 GIoU 的公式说不好,再列出 CIoU,这。原创 2023-11-24 20:13:06 · 170 阅读 · 0 评论 -
【YOLOX】《YOLOX:Exceeding YOLO Series in 2021》
arXiv-2021。原创 2023-08-09 10:47:57 · 412 阅读 · 0 评论 -
【Soft NMS】《Soft-NMS – Improving Object Detection With One Line of Code》
ICCV-2017。原创 2023-07-20 17:31:52 · 545 阅读 · 0 评论 -
【MegDet】《MegDet:A Large Mini-Batch Object Detector》
CVPR-2018。原创 2023-07-13 21:14:18 · 415 阅读 · 0 评论 -
【EfficientDet】《EfficientDet:Scalable and Efficient Object Detection》
CVPR-2020。原创 2023-05-17 21:21:31 · 1224 阅读 · 1 评论 -
【Diffusion Model】Learning notes
generator 和 discriminator 两者都得训练的比较均衡才能得到好的结果(稳定性),两者对抗,loss 并不能直观的反应训练过程。DDPM 的话,reverse 只是一个去噪模型,目标比较明确,易于训练。采样出来的全为0,这样 reverse 的过程变成了一个确定的过程。注意到这里的 if t>1,最后一步,不需要加扰动噪声了。reverse 的过程这里简单的进行了表示。看看多 batch 的时候是怎么训练的。reverse 的形式是什么样子的呢?不知道的,所以要替换掉上式中的。原创 2023-04-17 11:41:29 · 999 阅读 · 0 评论 -
【BlazePose】《BlazePose: On-device Real-time Body Pose tracking》
arXiv-2020。原创 2023-04-13 20:53:41 · 1528 阅读 · 0 评论 -
【HyperLearner】《What Can Help Pedestrian Detection?》
CVPR-2017。原创 2023-04-10 16:35:47 · 1021 阅读 · 0 评论 -
【CityPersons】《CityPersons:A Diverse Dataset for Pedestrian Detection》
CVPR-2017原创 2023-02-07 15:58:39 · 2298 阅读 · 0 评论 -
【WiderPerson】《WiderPerson:A Diverse Dataset for Dense Pedestrian Detection in the Wild》
TMM-2019原创 2023-01-31 19:47:17 · 1197 阅读 · 0 评论 -
【KAPAO】《Rethinking Keypoint Representations:Modeling Keypoints and Poses as Objects for XXX》
ECCV-2022原创 2023-01-11 14:52:11 · 1163 阅读 · 0 评论 -
【Copy-Paste】《Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation》
CVPR-2021原创 2022-12-14 10:19:22 · 851 阅读 · 0 评论 -
【AutoAgument for OD】《Learning Data Augmentation Strategies for Object Detection》
ECCV-2020原创 2022-12-07 16:12:38 · 1178 阅读 · 0 评论 -
【Cut, Paste and Learn】《Cut, Paste and Learn: Surprisingly Easy Synthesis for Instance Detection》
ICCV-2017原创 2022-12-02 09:51:57 · 875 阅读 · 0 评论 -
【Randaugment】《Randaugment:Practical automated data augmentation with a reduced search space》
CVPRW-2020原创 2022-11-21 15:23:46 · 1524 阅读 · 0 评论 -
【GridMask】《GridMask Data Augmentation》
arXiv-2020原创 2022-11-17 17:22:34 · 953 阅读 · 0 评论 -
【DropBlock】《DropBlock:A regularization method for convolutional networks》
NIPS-2018原创 2022-11-16 09:57:56 · 1149 阅读 · 0 评论 -
【Stochastic Depth】《Deep Networks with Stochastic Depth》
ECCV-2016原创 2022-10-20 19:58:58 · 684 阅读 · 0 评论