transformers
文章平均质量分 95
halo_wm
这个作者很懒,什么都没留下…
展开
-
SwinIR_Image Restoration Using Swin Transformer论文阅读分享
论文连接:https://arxiv.org/abs/2108.10257Abstract本篇文章的图像修复指的是从低质量图片恢复到高质量图片(例如超分,去噪,解压缩图片),目前主流先进的图像修复任务都是基于卷积做的,很少有人尝试用transformer做高性能的高级视觉任务。而本篇文章主要就是基于Swin_transformer做的,本方法命名为SwinIR。该方法包含三个部分:浅层特征提取器、深层特征提取器、高质量图像重建模块,针对不同的图像修任务,图像重建模块略有不同。特别的是,深层特征提取器是基原创 2021-08-31 09:40:12 · 2191 阅读 · 0 评论 -
将卷积引入transformer中VcT(Introducing Convolutions to Vision Transformers)的pytorch代码详解
文章目录1. Motivation:2. Method2.1 Convolutional Token Embedding 模块2.2 Convolutional Projection For Attention 模块2.3 如何实现分类任务2.4对于位置编码的思考?3.实验3.1实验设置3.1.1数据集:3.1.2 Model Variants(不同尺寸模型)3.1.3优化器设置3.2对比实验(消融实验)3.2.1位置编码的影响3.2.2Convolutional Token Embedding模块对CvT原创 2021-06-04 16:19:48 · 6847 阅读 · 9 评论 -
transformer在图像分类上的应用以及pytorch代码实现
文章目录1.对transformers的简单介绍1.1序列数据的介绍(seq2seq)1.2self-Attention1.3 transformer的完整结构2.transformers在图像分类上的pytorch代码2.1加载cifar10数据集2.2构建transformers模型2.2.1构建图像编码模块 Embeddings2.2.3构建前向传播神经网络模块2.2.4构建编码器的可重复利用Block模块2.2.5构建Encoder模块2.2.6 构建完整的transformers2.2.7构建Vi原创 2021-04-09 13:07:57 · 49825 阅读 · 62 评论