一:注意力(Attention)机制
1、注意力机制的背景和动机
2、注意力机制的基本原理
3、注意力机制的主要类型
4、注意力机制的优化与变体
5、注意力机制的可解释性与可视化技术
二:自然语言处理(NLP)领域的Transformer模型
1、Transformer模型的提出背景
2、Transformer模型的进化之路
3、Transformer模型拓扑结构
4、Transformer模型工作原理
5、BERT模型的工作原理
6、GPT系列模型
三:计算视觉(CV)领域的Transformer模型
1、ViT模型
2、Swin Transformer模型
3、DETR模型
四:生成式模型
1、变分自编码器VAE
2、生成式对抗网络GAN
3、扩散模型Diffusion Model
4、跨模态图像生成DALL.E
五:自监督学习模型
1、自监督学习的基本概念
2、经典的自监督学习模型的基本原理、模型架构及训练过程
3、自监督学习模型的Python代码实现
六:目标检测算法
1、目标检测任务与图像分类识别任务的区别与联系。
2、两阶段(Two-stage)目标检测算法
3、一阶段(One-stage)目标检测算法
七:图神经网络
1、图神经网络的背景和基础知识
2、图的基本概念和表示
3、图神经网络的工作原理
4、图卷积网络(GCN)的工作原理。
5、图神经网络的变种和扩展
八:强化学习
1、强化学习的基本概念和背景
2、Q-Learning
3、深度Q网络(DQN)
九:物理信息神经网络(PINN)
1、物理信息神经网络的背景
2、PINN工作原理
十:神经架构搜索(Neural Architecture Search, NAS)
1、NAS的背景和动机
2、NAS的基本流程:搜索空间定义、搜索策略、性能评估
3、NAS的关键技术:进化算法、强化学习、贝叶斯优化
十一:深度学习模型可解释性与可视化方法
1、什么是模型可解释性?为什么需要对深度学习模型进行解释?
2、可视化方法有哪些(特征图可视化、卷积核可视化、类别激活可视化等)?
3、类激活映射CAM(Class Activation Mapping)、梯度类激活映射GRAD-CAM、局部可解释模型-敏感LIME(Local Interpretable Model-agnostic Explanation)、等方法原理。
4、t-SNE的基本概念及使用t-SNE可视化深度学习模型的高维特征。