图像分类
文章平均质量分 97
halo_wm
这个作者很懒,什么都没留下…
展开
-
将卷积引入transformer中VcT(Introducing Convolutions to Vision Transformers)的pytorch代码详解
文章目录1. Motivation:2. Method2.1 Convolutional Token Embedding 模块2.2 Convolutional Projection For Attention 模块2.3 如何实现分类任务2.4对于位置编码的思考?3.实验3.1实验设置3.1.1数据集:3.1.2 Model Variants(不同尺寸模型)3.1.3优化器设置3.2对比实验(消融实验)3.2.1位置编码的影响3.2.2Convolutional Token Embedding模块对CvT原创 2021-06-04 16:19:48 · 6847 阅读 · 9 评论 -
transformer在图像分类上的应用以及pytorch代码实现
文章目录1.对transformers的简单介绍1.1序列数据的介绍(seq2seq)1.2self-Attention1.3 transformer的完整结构2.transformers在图像分类上的pytorch代码2.1加载cifar10数据集2.2构建transformers模型2.2.1构建图像编码模块 Embeddings2.2.3构建前向传播神经网络模块2.2.4构建编码器的可重复利用Block模块2.2.5构建Encoder模块2.2.6 构建完整的transformers2.2.7构建Vi原创 2021-04-09 13:07:57 · 49825 阅读 · 62 评论