百度Paddle免费课程——从零开始学视觉Transformer
- 本学习笔记来源于百度Paddle免费课程从零开始学视觉Transformer:如果有时间建议大家去看至少两遍,干货很多。链接:
https://aistudio.baidu.com/aistudio/course/introduce/25102 - 本次的课程代码都在:https://github.com/BR-lDL/PaddleViT
- 我的学习笔记:记录一些内容以及PPT,以及实现代码。
- 十一次课的学习笔记,写在了这个专栏里。因为我直接用CSDN直接写的,后期有时间稍微空闲的时候,才导出的word和pdf格式。免费分享记的笔记嗷!!
- 重要的事说三遍哦!!
- !!!!!!!!!无需订阅专栏哦,自己总结的课程学习笔记的百度网盘链接:链接: https://pan.baidu.com/s/1Z9w9biipueLF1J-yg0rN6g 提取码: 4h44
- !!!!!!!!!无需订阅专栏哦,自己总结的课程学习笔记的百度网盘链接:链接: https://pan.baidu.com/s/1Z9w9biipueLF1J-yg0rN6g 提取码: 4h44
- !!!!!!!!!无需订阅专栏哦,自己总结的课程学习笔记的百度网盘链接:链接: https://pan.baidu.com/s/1Z9w9biipueLF1J-yg0rN6g 提取码: 4h44
课程内容如下:
- 课程一:实现ResNet18(残差网络)
- Why Transformer?
- 实现ResNet18代码:
- 课程二:图像与Transformer基础
- 数字图像:图像和像素
- 实现Tensor使用
- 实现Patch Embedding:
- 课程三:视觉问题中的注意力机制
- Vision Transformer回顾
- Attention注意力机制
- 实现Multi-Head Self Attention:
- 课程四: ViT模型全流程拆解
- Multi-Head Self Attention:回顾
- 实现Vision Transformer:从论文到代码(还需理解⚠️)
- 课程五:如何训练ViT模型?DeiT算法解析
- Vision Transformer模型回顾
- 实现DeiT:从论文到代码(还需理解⚠️)
- 实现数据处理(paddle.vision.transform.compose)自己实现
- 课程六:Swin Transformer-1
- Vision Transformer回顾
- Swin Transformer
- 实践:Swin transformer
- 课程七: Swin Transformer-2
- Swin Transformer回顾
- Shifted Window Multi-Head Self Attention
- Relative Position Bias
- 实战Swin Transformer
- 课程八:卷积和Transformer结合的ViT
- 回顾Swin Transformer
- 卷积和Transformer结合——MobileViT
- 实践Swin Transformer
- 实践数据加载Dataloader
- 课程九: 自监督ViT算法:BeiT和MAE
- SSL在NLP中的应用:
- Bert
- BeiT
- MAE:Masked Autoencoders Are Scalable Vision Learners
- 实践:Config配置和实验分开进行
- 课程十: 目标检测DETR-1
- 课程十一:目标检测DETR-2
很推荐这门课,原因如下:
- Vision Transformer的框架讲解,细粒度到里面的代码实现。
- 对ViT论文分析,以及一些前沿的论文(BeiT、MobileViT)
- 逐行coding实现
- 讲授的朱老师超级牛~很喜欢听他讲课。
学习笔记的百度网盘链接
链接: https://pan.baidu.com/s/1Z9w9biipueLF1J-yg0rN6g 提取码: 4h44
–来自百度网盘超级会员v5的分享