深度学习笔记（十一）—— 完整性检查[Sanity Checks]

  这是深度学习笔记第十一篇，完整的笔记目录可以点击这里查看。
  
  在进行高运算量的网络优化之前，可以先考虑进行以下几个检验：

1. Look for correct loss at chance performance

  当使用少量参数进行初始化时，请确保得到了预期的损失。最好先单独检查数据损失（将正则化强度设置为零）。例如，对于具有Softmax分类器的CIFAR-10，我们期望初始损失为2.302，因为我们期望每个类的扩散概率为0.1（因为有10个类），并且Softmax损失是正确类的负对数概率，所以：-ln(0.1)=2.302。如果检验时没有获得预期损失，那么初始化可能会出现问题。

2. Increasing the regularization strength should increase the loss

  经过上一步的初次检验后，增加正则化强度时，损失（loss）也应该随之增加

3. Overfit a tiny subset of data

  最后也是最重要的一点，在对完整数据集进行训练之前，试着先对数据的一小部分（例如20个样本）进行训练，并确保可以实现损失（loss）为0。对于这个实验，最好将正则化设置为零，否则会影响你获得0损失。如果没有通过这个检验，则该网络模型就不值得继续使用完整的数据集进行训练。
 
 
 
*本博客翻译总结自CS231n课程作业网站，该网站需要翻墙才能访问。