什么是Label smooth regularization
对分类问题 经过softmax函数之后的 one hot 编码(正类概率为1，其他为0)进行改进。
为什么要使用Label smooth regularization
one-hot 编码的问题：会自驱的向正类和负类的差值扩大的方向学习(过度的信任标签为1的为正类)，在训练数据不足的情况容易过拟合。
原理
思路：软化softmax、劫富济贫
我们使用交叉熵损失函数
l o s s = − ∑ k = 1 K q ( k ∣ x ) log ( p ( k ∣ x ) ) loss = - \sum_{k=1}^K q(k|x) \log(p(k|x)) loss=−k=1∑
最低0.47元/天 解锁文章
878
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
