Python深度学习，附代码——建议收藏！

原文链接：Python深度学习，附代码——建议收藏！https://mp.weixin.qq.com/s?__biz=MzUzNTczMDMxMg==&mid=2247619244&idx=6&sn=83f8ac92dc56c49e2ccd93a0cdd06ed4&chksm=fa82534bcdf5da5d5d43a090a34e5c3ff4422145fca5a104bdea49a08e9d1d63f3db0e5378ca&token=1564411876&lang=zh_CN#rd

一：注意力（Attention）机制

1、注意力机制的背景和动机

2、注意力机制的基本原理

3、注意力机制的主要类型

4、注意力机制的优化与变体

5、注意力机制的可解释性与可视化技术：注意力权重的可视化（权重热图）

二：自然语言处理（NLP）领域的Transformer模型

1、Transformer模型的提出背景

2、Transformer模型的进化之路

3、Transformer模型拓扑结构

4、Transformer模型工作原理

5、BERT模型的工作原理

6、GPT系列模型（GPT-1 / GPT-2 / GPT-3 / GPT-3.5 / GPT-4）的工作原理

三：计算视觉（CV）领域的Transformer模型

1、ViT模型

2、Swin Transformer模型

3、DETR模型

四：生成式模型

1、变分自编码器VAE

2、生成式对抗网络GAN

3、扩散模型Diffusion Model

4、跨模态图像生成DALL.E

五：自监督学习模型

1、自监督学习的基本概念

2、经典的自监督学习模型的基本原理、模型架构及训练过程（对比学习: SimCLR、MoCo；生成式方法：AutoEncoder、GPT；预文本任务：BERT掩码语言模型）

3、自监督学习模型的Python代码实现

六：目标检测算法

1、目标检测任务与图像分类识别任务的区别与联系。

2、两阶段（Two-stage）目标检测算法：R-CNN、Fast R-CNN、Faster R-CNN（RCNN的工作原理、Fast R-CNN和Faster R-CNN的改进之处 ）。

3、一阶段（One-stage）目标检测算法：YOLO模型、SDD模型（拓扑结构及工作原理）。

七：图神经网络

1、图神经网络的背景和基础知识

2、图的基本概念和表示

3、图神经网络的工作原理

4、图卷积网络（GCN）的工作原理。

5、图神经网络的变种和扩展：图注意力网络（GAT）、图同构网络（GIN）、图自编码器、图生成网络。

八：强化学习

1、强化学习的基本概念和背景

2、Q-Learning

3、深度Q网络（DQN）

九：物理信息神经网络（PINN）

1、物理信息神经网络的背景

2、PINN工作原理：物理定律与方程的数学表达、如何将物理定律嵌入到神经网络模型中？PINN的架构、物理约束的形式化，损失函数的设计

十：神经架构搜索（Neural Architecture Search, NAS）

1、NAS的背景和动机

2、NAS的基本流程：搜索空间定义（确定搜索的网络架构的元素，如层数、类型的层、激活函数等。）、搜索策略（随机搜索、贝叶斯优化、进化算法、强化学习等）、性能评估

3、NAS的关键技术：进化算法（通过模拟生物进化过程，如变异、交叉和选择，来迭代改进网络架构）、强化学习（使用策略网络来生成架构，通过奖励信号来优化策略网络）、贝叶斯优化（利用贝叶斯方法对搜索空间进行高效的全局搜索，平衡探索和利用）

十一：深度学习模型可解释性与可视化方法

1、什么是模型可解释性？为什么需要对深度学习模型进行解释？

2、可视化方法有哪些（特征图可视化、卷积核可视化、类别激活可视化等）？

3、类激活映射CAM（Class Activation Mapping）、梯度类激活映射GRAD-CAM、局部可解释模型-敏感LIME（Local Interpretable Model-agnostic Explanation）、等方法原理。

4、t-SNE的基本概念及使用t-SNE可视化深度学习模型的高维特征。