深度学习（十一）

写在前面的话：此部分是关于fastai的学习部分

1、学习率的调整是训练模型的一个重要的方面，可以设置随迭代次数增长的学习率，画出图像，再画出学习率与损失函数的关系，通过损失函数确定合适的学习率，如下图：

需要注意的是，一般不将学习率设置到损失函数的最低点，而是要比那个学习率稍小一点
2、学习率调整的第二个技巧，学习率的退火，当我们离损失函数最低的点越来越近时，我们应该调小我们的学习率。由于学习参数的维数较多，我们学习到的最低点也未必是真正的最低点，这时可以稍微调大学习率跳过这个点再寻找最低点。

3、重新训练模型的技巧-差异学习率：可以对不同的层设置不同的学习率，较低的层探测比较低级的特征，较为普遍，可以设置较低的学习率，高的层探测较高的语义特征，由于任务不同可能比较独特，可以设置较高的学习率，通常来说，低层的学习率比高层低3到10倍。
4、训练网络的步骤：1）找到一个合适的学习率2）冻结大部分网络训练几个epoch3）使用数据扩充同时使用学习率退火训练几次4）解冻网络，找到一个比较合适的学习率，使用不同的学习率进行训练，同时学习率退火。