Dropout、梯度消失/爆炸、Adam优化算法,神经网络优化算法
训练误差和泛化误差
对于机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数,你也许发现了:当模型在训练数据集上更准确时,它在测试数据集上却不⼀定更准确。这是为什么呢?
因为存在着训练误差和泛化误差:
训练误差:模型在训练数据集上表现出的误差。
泛化误差:模型在任意⼀个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。
训练误差的期望小于或等...
转载
2019-09-04 17:11:58 ·
225 阅读 ·
0 评论