pytorch自定义损失函数、动态调整学习率、模型微调以及半精度训练

一、自定义损失函数
除了pytorch提供的损失函数，我们可以自定义损失函数，自定义损失函数的方法有：
1.以函数的方式定义
2.以类方式定义
二、动态调整学习率
通过适当的选取学习率策略可以提高模型精度，选取的方法如下：
1.使用官方scheduler
2.自定义scheduler
三、模型微调
通过迁移学习可以借助小样本数据集训练出符合预期的网络模型。
主要流程为：
1.预训练一个网络模型
2.创建目标模型（与原模型仅在输出层上有区别）
3.添加输出层并初始化参数
4.在目标数据集上进行训练
四、半精度训练
可以使用autocast配置训练精度，减小模型大小。