1 图像分类的数学表示
设计一个函数,以图像
X
\mathbf{X}
X 为输入,输出该图像
X
\mathbf{X}
X 属于各个类别的概率
P
\mathcal{P}
P,概率最大的那个分布即最终答案。
2 Vision Transformer
2.1 注意力机制
2.2 实现Attention
2.3 多头注意力
3 学习率与优化器策略
3.1 权重初始化
3.2 学习率退火 Annealing
3.3 学习率升温 Warmup
4 数据增强
可以通过简单的变换(几何变换,色彩变幻,随机遮挡)产生一系列“副本”,扩充训练数据集。