center loss的完全理解以及实现

最新推荐文章于 2022-08-17 14:15:16 发布
最新推荐文章于 2022-08-17 14:15:16 发布
阅读量2.1k 收藏 8
点赞数 2
分类专栏： CV 文章标签： center loss softmax embedding keras
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/herr_kun/article/details/107668745
版权
本文详细探讨了Center Loss的原理，指出类别中心的动态变化方式，并通过对比两种更新策略，揭示了在每个batch内计算动态变化的合理性。重点介绍了如何利用Keras中的Embedding层实现Center Loss，并提供了相关资源链接。
摘要由CSDN通过智能技术生成

最近项目中需要 center loss 提升模型的效果，但是 center loss 的实现就有点不确定，看了很多的博客，基本都是臆测，还是看源码来的实在。

下面就大致说下 center loss 的实现：

1、原理：

原理这块大家可以参考别人的博客，或者paper，这里就简单叙述下：让得到全连接层向量距离对应类别中心的距离最小

2、问题

类别中心是动态变化的么？如何进行变化？

（1）是每个epoch结束后使用所有的样本重新聚类计算得到样本中心么？

（2）在每个batch内计算动态变化得到聚类中心

当然是第二种方式，第一种方式太过于直白，最大的问题就是更新的太滞后了，基本上业界没有这样用的。
那么第二种方式该如何实现？每个batch内不一定包含所有的类别图像，维护一个参数矩阵？如何初始化？如何得到类别中心点（聚类还是求均值？）？

3、具体的实现

确实需要一个参数矩阵来维护并更新我们得到的聚类中心，常规能想到的方式就是自定义一个layer，然后再layey种定义参数矩阵等等，最终加入模型进行训练.

还有一种更为简洁的方式就是使用 Embedding 层的方式进行辅助训练，Embedding 层不仅仅可以实现一个维度的映射，而且最重要的是该层里面也有参数，是一个可以被训练的层，因此一切到这里就可以结束了ÿ

最低0.47元/天 解锁文章
herr_kun
关注
专栏目录
Keras 自定义loss 【center loss 做细粒度分类】
南七小僧的学海无涯
09-19 3303
Keras是一个搭积木式的深度学习框架，用它可以很方便且直观地搭建一些常见的深度学习模型。在tensorflow出来之前，Keras就已经几乎是当时最火的深度学习框架，以theano为后端，而如今Keras已经同时支持四种后端：theano、tensorflow、cntk、mxnet（前三种官方支持，mxnet还没整合到官方中），由此可见Keras的魅力。 Keras是很方便，然而这种方便不是没...
Word2Vec: Skip-Gram模型pytoch 代码实现 +注释 以及个人浅薄的理解
光英的记忆博客
11-14 734
写本篇文章之前，我觉得一定要搞懂几件事 第一 这个模型他干了什么事 第二这个模型的目标函数是什么 想完这个 在回去读那些讲词向量理论的文章才会觉得豁然开朗 """ 学习词向量的概念 用Skip-thought模型训练词向量 学习使用PyTorch dataset和dataloader 学习定义PyTorch模型 学习torch.nn中常见的Module Embedding 学习常见的P...
损失函数（CenterLoss）
炉边碎语
06-17 1836
原理 直接减小类内距，间接加大类间距。 实验（手写数字识别） 数据集：MNIST。 网络结构：CNN + 特征全连接（输出2个特征值） + 分类全连接（输出10个特征值）。 优化器：Adam。 损失函数： 特征损失：自定义损失函数（CenterLoss）。 分类损失：交叉熵（CrossEntropyLoss），自带 one-hot 类型和 softmax。 输出：one-hot 类型，结果为最大的索引值。 自定义损失函数（CenterLoss） import torch from torch impo
CenterLoss的实现
kobayashi_的博客
08-15 724
论文 文章目录1.为什么要CenterLoss2.如何CenterLoss3.Centerloss 的代码实现 1.为什么要CenterLoss 首先在定义一个简单的全连接神经网络。为了更好的可视化特征，将网络的输出层的前一层的输出变为2，使之输出只有2个特征。接着，在MNIST数据集上进行训练，边训练，边可视化输出。 class SimpleFCNet(nn.Module): def __init__(self): super().__init__() self.fc1=nn.Sequ
深度学习干货学习（1）——center loss
Lucifer_zzq的博客
07-27 9680
在构建loss时pytorch常用的包中有最常见的MSE、cross entropy（logsoftmax+NLLLoss）、KL散度Loss、BCE、HingeLoss等等，详见：https://pytorch-cn.readthedocs.io/zh/latest/package_references/torch-nn/#loss-functions 这里主要讲解一种考虑类间距离的Cente...
Center Loss
weixin_42486139的博客
11-04 509
center loss来自ECCV2016的一篇论文：A Discriminative Feature Learning Approach for Deep Face Recognition 公式： 其中， x指的是特征，cyi指的是第yi个类别的中心，c会随着模型训练更新，类中心数=类别数； m表示mini-batch的大小,因此这个公式就是希望一个batch中的每个样本的feature离feature 的中心的距离的平方和要越小越好，也就是类内距离要越小越好。 实现代码： cl...
人脸识别系列（十二）：Center Loss
Fire_Light_的博客
03-18 4576
论文链接：A Discriminative Feature Learning Approach for Deep Face Recognition（需翻墙） 代码链接:https://github.com/ydwen/caffe-face 一个小实验 作者为了说明Softmax损失函数对特征分布的影响，在Minist上做了一个小的实验，使用了一个比LeNets更深的网络结构LeNets+...
人脸识别 损失函数 centerloss arcfaceloss pytorch实现
不佛的博客
10-16 3366
Softmax loss
center loss 翻译
qq_34714751的博客
01-01 1257
深度人脸识别的判别特征学习方法（Center Loss） 抽象 ​ 卷积神经网络（CNNs）已被广泛应用于计算机视觉领域，显着提高了现有技术水平。在大多数可用的CNN中，softmax损失函数被用作训练深度模型的监督信号。为了增强深度学习特征的判别力，本文提出了一种新的监督信号，称为中心丢失，用于人脸识别任务。具体而言，中心损失同时学习每个类别的深度特征的中心并且惩罚深度特征与其对应的类中心之间的...
pytorch-center-loss：Pytorch实现中心损失
02-05
火炬中心损失 Pytorch实现中心损失的方法： （ ）也使用此损失函数。 开始吧 克隆此仓库并运行代码 $ git clone https://github.com/KaiyangZhou/pytorch-center-loss $ cd pytorch-center-loss $ python main.py --eval-freq 1 --gpu 0 --save-dir log/ --plot 您将在终端中看到以下信息 Currently using GPU: 0 Creating dataset: mnist Creating model: cnn == > Epoch
center loss
cdknight_happy的专栏
03-09 757
论文：A Discriminative Feature Learning Approach for Deep Face Recognition 0 摘要 本文为人脸识别任务提出了center loss，可以为每一个人脸类别学习特征中心并惩罚远离中心点的离群样本。center loss使用CNN训练时易于收敛。将center loss和softmax loss结合，可以得到类内聚合、类间远离的深度特...
CenterLoss在Mnist数据集上的实现
weixin_46006304的博客
05-21 973
centerloss，顾名思义，中心损失函数，它的原理主要是在softmax loss的基础上，通过对训练集的每个类别在特征空间分别维护一个类中心，在训练过程，增加样本经过网络映射后在特征空间与类中心的距离约束，从而兼顾了类内聚合与类间分离，centerloss只是一个辅助损失函数，softmaxloss才是主打，但softmaxloss只能简单的将类分开，还得加上centerloss这一个强力辅助才能保证特征之间不仅具有可分性，同时也具有可判别性。 我们都知道，对于分类来说，希望类内距小，类间距大，那c
【Loss】中心损失 Center Loss 解释
mjiansun的专栏
08-17 3953
类中心c:每一个样本的特征需要通过一个好的网络到达特征层获得,这样计算完后所有样本的特征的平均值为类中心c,而好的网络需要是在有类中心加入的情况下才能得到...
损失函数：Center Loss
热门推荐
那年聪聪
02-22 2万+
Center Loss是通过将特征和特征中心的距离和softmax loss一同作为损失函数，使得类内距离更小，有点L1，L2正则化的意思。最关键是在训练时要使用2个Loss函数：Softmax Loss+ lamda* Center Loss
人脸识别 Center Loss及实现
qq_39865109的博客
10-08 613
Center Loss 为什么用Center Loss？ 首先要声明的是Center Loss主要用于做人脸的识别，那么为什么不用softmax对人脸直接分类呢？因为人脸之间的特征是十分相似的，在类与类之间的交界处是很难区分开的，换句话说softmax分类两张人脸得到的概率值都是0.5左右，导致分类结果不准确。那么怎么把这种交界处区分开呢？有两种方法：1、第一种扩大类间距，2、第二种扩大类内距。C...
center Loss
qq_43586192的博客
03-29 162
class Centerloss(nn.Module): def __init__(self, lambdas, feature_num=2, class_num=10): super().__init__() self.lambdas = lambdas self.center = nn.Parameter(torch.randn(class_num, feature_num), requires_grad=True) def forwar
Centerloss的pytorch实现
最新发布
05-15
以下是使用PyTorch实现Center Loss的代码示例： ```python import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F class CenterLoss(nn.Module): def __init__(self, num_classes, feat_dim, loss_weight=0.5): super(CenterLoss, self).__init__() self.num_classes = num_classes self.feat_dim = feat_dim self.loss_weight = loss_weight self.centers = nn.Parameter(torch.randn(self.num_classes, self.feat_dim)) def forward(self, x, labels): batch_size = x.size(0) # 计算当前batch中每个样本对应的中心 centers_batch = self.centers[labels] # 计算当前batch中每个样本与其对应中心之间的距离 dist = torch.sum((x - centers_batch) ** 2, dim=1) # 计算center loss center_loss = torch.mean(dist) # 更新中心 diff = centers_batch - x unique_label, unique_idx = torch.unique(labels, return_inverse=True) appear_times = torch.bincount(unique_idx, minlength=self.num_classes).float() appear_times = appear_times.unsqueeze(1) centers_update = torch.zeros_like(self.centers) centers_update.scatter_add_(0, labels.view(-1, 1).expand(batch_size, self.feat_dim), diff) centers_update = centers_update / (appear_times + 1e-8) self.centers.data = self.centers.data - self.loss_weight * centers_update.data return center_loss class Net(nn.Module): def __init__(self, num_classes, feat_dim): super(Net, self).__init__() self.fc1 = nn.Linear(feat_dim, 512) self.fc2 = nn.Linear(512, num_classes) self.center_loss = CenterLoss(num_classes, feat_dim) def forward(self, x, labels): x = self.fc1(x) x = F.relu(x) x = self.fc2(x) center_loss = self.center_loss(x, labels) return x, center_loss ``` 在这里，我们首先定义了一个`CenterLoss`类来计算中心损失。`CenterLoss`的`__init__`函数中包含中心矩阵`centers`，其大小为`(num_classes, feat_dim)`，其中`num_classes`为类别数，`feat_dim`为特征维度。`forward`函数接受输入的特征张量`x`和对应的标签`labels`，计算`x`和每个样本对应的中心之间的距离，然后计算中心损失并更新中心矩阵。在`Net`类中，我们将`CenterLoss`作为一个模块集成到模型中，同时在模型的前向传播中计算中心损失。 接下来，我们可以使用以下代码来训练模型： ```python net = Net(num_classes, feat_dim) optimizer = optim.SGD(net.parameters(), lr=lr, momentum=momentum) for epoch in range(num_epochs): for batch_idx, (data, labels) in enumerate(train_loader): data, labels = data.to(device), labels.to(device) optimizer.zero_grad() outputs, center_loss = net(data, labels) softmax_loss = F.cross_entropy(outputs, labels) loss = softmax_loss + center_loss loss.backward() optimizer.step() ``` 在每个batch的训练中，我们首先将输入数据和标签送入设备中，然后将模型参数的梯度清零。接着，我们计算前向传播的结果和中心损失，然后使用交叉熵损失计算总损失，并进行反向传播和参数更新。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值