深度神经网络-keras-调参经验

keras搬砖系列-调参经验

1,观察loss胜于观察准确率,loss设计要比较合理,对比训练集和验证集的loss

2,relu可以很好的防止梯度弥散的问题,当然最后一层激活函数尽量别用relu,如果分类则用softmax


3,BatchNorm 可以大大加快训练速度和模型的性能

4,Dropout防止过拟合,可以直接设置为0.5,一半一半,测试的时候把Dropout关掉


5,Loss选择,一般来说分类就是softmax,回归就是L2的loss,但是loss的错误范围(主要是回归)预测一个10000的值,模型输出为0
6,准确率是一个评测指标,但是训练过程中loss你会发现有些情况,准确率是突变的,原来一直是0,可能保持上千迭代,然后变1。而loss不会有那么诡异的发生,毕竟优化目标为loss

7,学习率设置得合理,太大loss爆炸,太小则没有反应

8,对不训练集和验证集的loss,判断过拟合,训练是否足够,是否需要Early Stop

展开阅读全文

没有更多推荐了,返回首页