OpenMMLab实战营第二讲

1 图像分类的数学表示

设计一个函数，以图像 $\mathbf{X}$ 为输入，输出该图像 $\mathbf{X}$ 属于各个类别的概率 $\mathcal{P}$，概率最大的那个分布即最终答案。

2 Vision Transformer

2.1 注意力机制

2.2 实现Attention

2.3 多头注意力

3 学习率与优化器策略

3.1 权重初始化

• 随机初始化
• 用训练好的模型进行初始化

3.2 学习率退火 Annealing

3.3 学习率升温 Warmup

4 数据增强

可以通过简单的变换（几何变换，色彩变幻，随机遮挡）产生一系列“副本”，扩充训练数据集。