深度学习（十八）

1、训练时尝试不同的学习率不同的输入数据大小能加快训练过程。
2、使用一张随机噪声生成特定的图片是比较困难的，因为不太好优化，将噪声变得平滑一些可能更好。
3、BFGS优化方法：不止需要知道梯度，还需要知道二阶偏导数，在高维的情况下，梯度使用雅克比矩阵表示，而二阶导数使用黑森矩阵表示。为了降低计算量，只计算最后的十几步，并且使用近似的方法来计算二阶导数。
4、损失函数有时候需要乘上一个比例因子，因为有时候梯度太小可能会发生梯度消失，我们只需要使损失函数变小就可以了。
5、一般来说，使用的批次越大，所采用的学习率就要越高，但这会使得权重一开始变得非常大，训练的非常不稳定，这时可以采用的一种方式是将模型的激活值乘上一个比例因子，可以是0.1、0.2，还可以用BFGS类似这样的优化方法。
6、转置卷积不如上采样，上采样不如像素混合
7、论文复现过程中不要一昧的进行模仿，可以在读完论文后，或者开始读到论文所解决的问题，就自己尝试解决，尝试不同的方案，之后再读论文中的解决方案，进行对比。
8、对使用GPU来说，用半精度浮点数能加速训练，对于fastai0.4来说，只需要设置learn.half
9、过高的学习率意味着验证集的损失会非常大，过低的学习率意味着训练速度变慢，错误率会下降的非常慢，且训练集的损失高于验证集的损失，这跟epoch不够有些类似；如果epoch不够则表现出训练集的损失高于验证集的损失，正常情况下应是训练集损失低于验证集损失，这样才会达到拟合，epoch过大则会出现过拟合，即精度一会改善，一会降低。