- 博客(6)
- 收藏
- 关注
原创 自监督学习-对比学习-MoCo Momentum Contrast 阅读笔记
MOCO用于无监督表征学习。我们从另外一个角度来理解对比学习,即从一个字典查询的角度来理解对比学习。moco中建立一个动态的字典,这个字典由两个部分组成一个队列queue和一个移动平均的编码器moving-averagedencoder。这两个东西造就了一个更大的和更一致consistent的字典,对无监督的对比学习有很大的帮助。(队列中的样本不需要做梯度反传,因此可以在队列中存储很多负样本,从而使这个字典可以变得很大。......
2022-07-21 05:24:37
2801
2
原创 Mlp-Mixer 阅读笔记
本文会做对文章的解读,以及和卷积的一些对比论文链接: https://arxiv.org/pdf/2105.05537.pdf 代码:GitHub - google-research/vision_transformer摘要Mlp-mixer是谷歌最近提出的基于纯mlp结构的cv框架。它使用多层感知机(MLP)来代替传统CNN中的卷积操作(Conv)和Transformer中的自注意力机制(Self-Attention)。MLP-Mixer整体设计简单,在ImageNet上的表现接近于近年最..
2022-04-14 23:45:07
889
原创 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 阅读理解
原文地址:https://arxiv.org/pdf/2103.14030.pdf收录:CVPR 2021 Best paper代码: https://github.com/microsoft/Swin-Transformer摘要目前Transformer从文本领域 应用到 图像领域主要有两大挑战:视觉实体变化大,在不同场景下视觉Transformer性能未必很好 large variations in the scale of visual entities。但In existing
2022-04-05 22:00:14
2649
原创 Swin-Unet: Unet-like Pure Transformer forMedical Image Segmentation 医疗图像分割阅读笔记
原文地址:https://arxiv.org/pdf/2105.05537.pdf收录:CVPR 2021代码:https://github.com/Beckschen/TransUNet首篇将transformers用于医疗分割的文章设计的Idea:UNet +transformers的结合体,使用的具体模块:ViT+ResNet50+skip connection对关键的公式,和结构图进行了个人的一些注释,供大家参考。目录摘要1 Introduction2 ...
2022-03-22 00:30:32
7432
2
原创 TransUNet:Transformers Make Strong Encoders for Medical Image Segmentation用于医疗图像分割的transformers编码器详解
原文地址:https://arxiv.org/pdf/2102.04306.pdf收录:CVPR 2021代码:https://github.com/Beckschen/TransUNet首篇将transformers用于医疗分割的文章设计的Idea:UNet +transformers的结合体,使用的具体模块:ViT+ResNet50+skip connection对关键的公式,和结构图进行了个人的一些注释,供大家参考。摘要在医学图像中, U-Net, 已经成为了 de-f..
2022-03-20 01:56:18
14416
24
原创 DenseASPP for Semantic Segmentation in Street Scenes(DenseASPP 用于街景语义分割)的阅读笔记
DenseNet can be viewed as a special case of DenseASPP by setting dilation rate as 1. 因此,DenseASPP 拥有DenseNet的优点:alleviating gradient-vanishing problem 和substantially fewer parameters摘要objects in autonomous driving exhibit very large scale changes, whi.
2022-03-15 05:32:57
5604
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人