深度学习中,正样本、负样本、简单样本和困难样本的区别

(一)

  • 正样本:与真实样本标签一致的样本
  • (反)负样本:与真实样本标签不一致的样本
(实际上往往正样本数远远小于负样本数)

(二)

  • 困难样本:预测值与实际标签误差较大的样本
  • 简单样本:预测值与实际标签误差较小的样本
图片分类中:

需要识别马、羊、牛三个类别。
给一张马的图片。对于预测马来说这个样本为正样本,对于预测羊和牛来说该样本为负样本。
真值one-hot标签:[1, 0, 0],而在预测出概率分布为[0.3,0.3,0.4]时,真值one-hot标签相差较大,则此时该样本是困难样本。而预测出[0.98, 0.01, 0.01]时,与真值one-hot标签相差较小,则此时该样本为简单样本。

语音识别:

当需要识别“你值得拥有”五个字。
语音片段对应“你”。则对于预测“你”来说这个样本为正样本,对于预测其他字来说该样本为负样本。

另外

在选择负样本(正样本)的过程中,很多样本都是易于区分的,也就是说,这些样本对于模型性能的提升贡献较小,添加了这些样本不仅对于模型的提升帮助有限,同时大量的这些样本也主导了梯度更新的方向,浪费了训练时间。

假如现在要训练一个模型,能认出斑点狗,也就是说,送给神经网络好多图片,如果图片中有斑点狗,那么输出1,否则输出0,显然在我们训练神经网络模型的过程中,我们会遇到这样的情况:

(1) 包含有斑点狗的样本太少(其他任何不是斑点狗的图片都可以作为负样本)

(2)很多负样本容易区分,比如什么飞机照片,人照片,火车照片,这些都不包含斑点狗,同时也是包含易区分样本,而对于哈士奇,哈巴狗等这些同样是购得样本就是较难区分的样本(因为大家都是狗啊,只是身上有没有黑斑而已…)

参考:
【1】正样本/反(负)样本/易区分样本/难区分样本
【2】深度学习中正样本、负样本、困难样本、简单样本区别

  • 17
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值