Regularizing Neural Networks by Penalizing Confident Output Distributions (2017)摘要

G. Pereyra, G. Tucker, J. Chorowski
原文地址
https://arxiv.org/abs/1701.06548

在深度学习的分类问题中，经常出现模型过拟合的情况，具体表现往往为：模型给一个目标分类时，给某个类过大的信任（概率）导致分类出错，（即概率集中在一个类上）。作者提出给这样的分布添加惩罚机制。

论文从条件概率的熵开始推导，y为类别，x为输入值。

将这个熵值加入似然函数，得到

Beta为该confidence penalty的惩罚力度参数。
由于模型在训练中需要同时保证在开始时尽量快的拟合和最后避免过拟合，所以需要在上式中添加阀值，使训练初期模型不会因受到penalty的影响而拟合失败。

Tao即熵的阀值。

作者进一步添加了label smoothing，假设预设的标签是均匀分布的，那么label smoothing可以简化为在均匀分布u和模型预测的标签分布p之间的KL divergence（相对熵，用于测量两个概率分布之间的区别）。

将相对熵反转的话，confidence penalty可被恢复。