深度模型：优化性能 调参

调参调的是什么？

调整的是损失函数中的参数，这里面包含了正则参数和初始化。

注意

1. 调参看验证集。trainset loss通常能够一直降低，但validation set loss在经过一段降低期后会开始逐渐上升，此时模型开始在训练集上过拟合。

2. 着重关注val loss变化，val acc可能会突变，但loss衡量的整体目标，但是你的测试集是验证集的话还是看评判标准为佳。

3. 优先调参学习率。

4. 通过对模型预测结果，可以判断模型的学习程度，如果softmax输出在0或1边缘说明还不错，如果在0.5边缘说明模型有待提高。

5. 调参只是为了寻找合适的参数。一般在小数据集上合适的参数，在大数据集上效果也不会太差。因此可以尝试采样部分数据集，以提高速度，在有限的时间内可以尝试更多参数。

6. 使用深度框架编程时，尽量使用框架提供的API，如tensor index索引，不要用for循环啥的。速度不是一个级别的。

学习率的重要性：

参考：

1.https://blog.csdn.net/qq_16234613/article/details/79596609