2.29。

读论文步骤（李沐老师）
1、题目 摘要 结论 实验方法
2、看图表 相关文献改进
3、详细阅读

学了忘忘了学。。。

• ImageNet数据集权重预训练
  Imagenet上的模型预训练权重用到CIFAR10上

  预训练权重就是 将在大规模数据上训练好的权重初始化，再训练自己的数据，效果会比随机初始化好

• SGD 随机梯度下降法
  SGD
  在每一次迭代中，随机选择一个小批量的样本来计算损失函数的梯度，并用梯度来更新参数。这种随机性使得算法更具鲁棒性，能够避免陷入局部极小值，并且训练速度也会更快。

• ResNet
  ResNet网络结构详解、完整代码实现
  随着网络加深，准确率不下降
  达到最优 继续加深网络
  BN原理 一批数据的特征图 均值为零
  标准化 收敛快

• CNN
  一文读懂卷积神经网络(CNN)
  卷积层和池化层
  局部区域加权求和
  卷积核的个数=输出的通道数 减少通道数
  池化层不引入参数

• 自注意力
  transformer中QKV的通俗理解
  非自主 物体本身的特征十分突出
  自主 先验知识的介入下关注到 权重
  计算权重 加权求和
  QKV
  QK点乘 相似度！ softmax归一化 0~1 在V上的权重