![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
transformer
文章平均质量分 95
CinzWS
新时代农民工---码农
展开
-
Swin Transformer理解
最近在阅读transformer,也作个笔记,供学习使用。希望阅读者有CNN的基础,如YOLO,MobileNets,ResNet等,并且一定要先阅读ViT。不然读起来可能比较吃力。当然笔记也尽可能解释清楚1 核心参考① B站跟李沐学AI② Swin Transformer论文精读【论文精读】友情提示:看完笔记,还需要阅读原文,去看代码,才会有大的收获。2 研究背景:ViT的缺点1、显存占用–Token数量。Token是指模型运行中的最小处理单元。ViT中的Token指的是一个Patch,T原创 2022-04-13 14:25:48 · 6120 阅读 · 4 评论 -
ViT理解
最近在阅读transformer的第一篇文章ViT,也作个笔记,供学习使用。希望阅读者有CNN的基础,如YOLO,MobileNets,ResNet等,不然读起来可能比较吃力。当然笔记也尽可能解释清楚。参考资料① B站深度之眼:CV transformer② 代码网址:https://github.com/lucidrains/vit-pytorch③ 原文:AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT S原创 2022-03-30 18:54:07 · 5669 阅读 · 3 评论