对Center loss的理解

        在常见的目标、场景、或动作识别中,测试样本的类别包含在训练集中,这就是常说的闭集鉴定。这对softmax来说游刃有余,就像现行分类一样。然而在人脸识别领域却会出现问题,因为地球上有60亿人,模型所用训练集很难囊括所有label,因此测试集中的新面孔特征球不应和已有的几百万个面孔特征球相重合;再加上特征球往往会出现类内距离大于类间距离因此为了将几十亿个特征球摆放在特征空间中,且具有明显的Discriminative特性,应使特征球具有较强的内聚性(由center loss来负责),而类间的可分性则由softmax loss来负责,由两者建立的联合损失函数来训练模型可以达到较好的效果。

       Intuitively, the softmax loss forces the deep features ofdifferent classes staying apart. The center loss efficiently pulls the deep featuresof the same class to their centers. With the joint supervision, not only the interclassfeatures differences are enlarged, but also the intra-class features variationsare reduced.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CenterLoss是一种用于深度学习中的损失函数,用于学习特征表示的类内变化。它通过更新中心点来最小化特征与中心点之间的距离,从而使得同一类别的特征更加紧密地聚集在一起。具体来说,CenterLoss的更新机制是根据特征值和中心点的二范数来确定中心点的更新方向。通过这种更新方式,每个类别的中心点会被更新为与该类别所有样本特征值的二范数和最小的位置,可以理解为该类别特征的中心点位置。整体的CenterLoss是在边学习边找中心点的,最终中心点的确定和整体分类任务的收敛是同步进行的。\[1\] CenterLoss的公式描述了类内变化,即希望所有特征离中心的距离都尽量小。具体公式如下: c_{y_i}\in R^d:代表类别为y_i的所有特征的中心。在训练过程中,对每个类别在minibatch尺度上统计出该类别特征的中心。\[2\] 然而,CenterLoss不能直接使用的原因是因为它的反向传播需要与前向传播的输入参数一一对应。具体来说,在反向传播中,需要计算特征、标签、中心点和批量大小的梯度。为了实现这一点,需要编写相应的代码来更新中心点。\[3\] #### 引用[.reference_title] - *1* *3* [CenterLoss | 减小类间距离](https://blog.csdn.net/qiu931110/article/details/106108936)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [CenterLoss原理详解(通透)](https://blog.csdn.net/weixin_54546190/article/details/124504683)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值