MobileVIT：更轻量级，更通用的对移动端更友好的VIT

最新推荐文章于 2024-07-19 23:44:59 发布

不想敲代码的小杨

最新推荐文章于 2024-07-19 23:44:59 发布

阅读量1.9k

点赞数

分类专栏：医学图像分割的Transformer 文章标签：深度学习机器学习人工智能

本文链接：https://blog.csdn.net/weixin_43921949/article/details/127149874

版权

一：前言

当前纯Transformer存在的问题：

1）Transformer参数多，算力要求高

2）Transformer缺少空间归纳偏置

3）Transformer迁移到其他任务比较繁琐

4）Transformer模型训练困难

二：回顾VIT

首先对输入的图片划分成一个一个Patch，然后将每个Patch的图片进行展平。展平之后再通过一个线性映射得到针对每一个patch所对应的Token（每个Token实质上对应的就是一个向量）将这些Token放在一起就得到了Token序列，然后再对这些Token加上位置编码。再将这些加上位置编码的Token传入L个Transformer模块，再通过全连接层得到最终的输出。