Combined Margin loss人脸识别训练笔记

最新推荐文章于 2023-03-28 09:23:43 发布
最新推荐文章于 2023-03-28 09:23:43 发布
阅读量2.4k 收藏 2
点赞数 1
分类专栏： 计算机视觉 - 图像处理 人工智能 - 图像识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rainforestgreen/article/details/85232197
版权

    利用caffe第三方实现的combined margin_layer进行训练（https://github.com/gehaocool/CombinedMargin-caffe），数据集采用VGGFace2，经过筛选以后共有8631个人的244W+的人脸图片。

    训练过程中出现了一下问题，这里进行记录。

一、利用开源项目中的res36-E网络进行训练

    训练过程比较顺利，虽然为了尽快训练完，将epoch进行了精简，但是最终的loss也下降到2左右，和项目给出的loss基本相同，训练过程中分类的精度也稳定在0.7-0.8之间。

    下图为训练过程中的loss和accuracy的曲线，横坐标的单位需要再乘以50（log文件中50次迭代输出一次log）。

I1222 12:24:23.999287  2126 solver.cpp:228] Iteration 277750, loss = 2.11202
I1222 12:24:23.999418  2126 solver.cpp:244]     Train net output #0: accuracy = 0.734375
I1222 12:24:23.999433  2126 solver.cpp:244]     Train net output #1: softmax_loss = 1.72783 (* 1 = 1.72783 loss)
I1222 12:24:23.999442  2126 sgd_solver.cpp:106] Iteration 277750, lr = 1e-05
I1222 12:25:15.731434  2126 solver.cpp:228] Iteration 277800, loss = 1.79811
I1222 12:25:15.731550  2126 solver.cpp:244]     Train net output #0: accuracy = 0.78125
I1222 12:25:15.731564  2126 solver.cpp:244]     Train net output #1: softmax_loss = 1.98719 (* 1 = 1.98719 loss)
I1222 12:25:15.731572  2126 sgd_solver.cpp:106] Iteration 277800, lr = 1e-05
I1222 12:26:07.457556  2126 solver.cpp:228] Iteration 277850, loss = 2.63742
I1222 12:26:07.457665  2126 solver.cpp:244]     Train net output #0: accuracy = 0.65625
I1222 12:26:07.457679  2126 solver.cpp:244]     Train net output #1: softmax_loss = 2.20569 (* 1 = 2.20569 loss)
I1222 12:26:07.457686  2126 sgd_solver.cpp:106] Iteration 277850, lr = 1e-05
I1222 12:26:59.228655  2126 solver.cpp:228] Iterati
最低0.47元/天 解锁文章
rainforestgreen
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（Caffe人脸识别）CosineFace、ArcFace、MobileFaceNet、Combined Margin loss的原理以及在caffe中的层实现
rainforestgreen的博客
12-24 7086
    对于CosineFace、MobileFaceNet、ArcFace、Combined Margin loss这四种损失函数，都是为了提高人脸识别的分类效果，在原有softmax loss进行改进的。     在这几个改进之前，最早的是基于W-Norm的SphereFace（cosmθ），以及基于W-Norm和F-Norm的SphereFace（scosmθ），这里不对这两种做介绍，直接...
ArcFace: Additive Angular Margin Loss for Deep Face Recognition
12-03
One of the main challenges in feature learning using Deep Convolutional Neural Networks (DCNNs) for large- scale face recognition is the design of appropriate loss func- tions that enhance discriminative power. Centre loss pe- nalises the distance between the deep features and their cor- responding class centres in the Euclidean space to achieve intra-class compactness. SphereFace assumes that the lin- ear transformation matrix in the last fully connected layer can be used as a representation of the class centres in an angular space and penalises the angles between the deep features and their corresponding weights in a multiplicative way.
人脸识别损失：优化Margin
小花生的博客
05-07 1099
不同margin的对比 目前人脸识别算法以large margin为主，这里提出并讨论两个问题： 问题一：large margin为什么能work？ L-Softmax重构了Softmax，输出x变成W⋅f=∣W∣⋅∣f∣⋅cos(θ)W\cdot f=|W|\cdot |f|\cdot cos(\theta )W⋅f=∣W∣⋅∣f∣⋅cos(θ)，SphereFace归一化权值W，变成W⋅f=...
垂直margin 合并
我仅仅是一个Coder
02-08 1058
http://www.w3.org/TR/CSS21/box.html#collapsing-margins 一看就知道！ 8.3.1 Collapsing margins In CSS, the adjoining margins of two or more boxes (which might or might not be siblings) can combine to fo
ResXt网络实现
chumingqian的博客
03-28 258
即在 bottle Neck 　模块的基础上，　实现了每个模块的多分支的并行结构； 2.2 网络结构 2. 自主构建的网络 主要的结构，是前期使用了inverted_residual 结构， 目的是为了不让各个通道之间的信息，交流。 保持原始的通道信息， 这样一直到ResXt的网络结构时，　才开始通道交融；该网络，由于采用了多分支并行的结构，导致了该网络不能够搭建的很深 在( 2, 9, 576, 600)　的情况下，占用了20G的显存，　100G的　内存；
人脸识别、行人ReID图像分割
05-27
The BTM and DTM are linearly combined into a joint model to compute a confidence map. Tracking results are estimated using the confidence map, where the position and scale of the target are estimated...
arpack_combined_all-0.1.jar
04-01
arpack_combined_all-0.1.jar
bootstrap-combined.min.css
10-04
bootstrap-combined.min.css
Based-on-Combined-Feature.rar_combined feature_feature
07-14
Based on Combined Feature
caffe c++实战：通过训练好的模型对人脸图像进行特征提取（单张图像）
10-25
caffe c++实战：通过训练好的模型对人脸图像进行特征提取（单张图像）................
cmu + mit 人脸测试集-A
05-03
这是卡内基梅隆大学的公开人脸测试集。测试集共分四个文件夹，分别为测试集A、B、C和旋转测试集。由于大小限制，因此将四个文件夹分开上传 The image dataset is used by the CMU Face Detection Project and is ...
loss函数之margin改进方法
Iriving_shu的博客
01-27 4668
最近sphereface人脸方法是目前开源人脸中最有效的方法，通过改进我也获得了lfw acc 99.7%的结果，下面几篇也是对sphereface改进的论文：AM : Additive Margin Softmax for Face VerificationAAM : Face Recognition via Centralized Coordinate LearningArcFace: ArcF
人脸识别中的margin损失函数
05-10 1338
用于人脸识别的损失函数，有Softmax，Contrastive Loss，Triplet Loss，Center Loss，Norm Face，Large-Margin Loss，A-Softmax Loss，InsightFace等等，这篇文章简单聊聊近年的margin损失函数。 margin损失函数： Large-margin Softmax(L-Softmax) Sphereface(A-Softmax) Additive Margin Softmax(AM-Softmax) CosFac
Hinge Loss
FinnTheHuman的博客
03-28 929
Hinge Loss简介 Hinge Loss是一种目标函数（或者说损失函数）的名称，有的时候又叫做max-margin objective。其最著名的应用是作为SVM的目标函数。 其二分类情况下，公式如下：  l(y)=max(0,1−t⋅y) 其中，y是预测值（-1到1之间），t为目标值（±1）。 其含义为，y的值在-1到1之间就可以了，并不鼓励|y|
近来人脸识别的 loss
weixin_NineDays66
05-17 1897
最近（2017/2018）人脸识别的相关论文人脸识别的Loss函数改进的论文比较多, 如:[2017] L2-constrained Softmax Loss for Discriminative Face Verification[2017 ACM MM] NormFace_ L2 Hypersphere Embedding for Face Verification[2017 CVPR] Sp...
CosFace中的cos loss（Large Margin Cosine Loss）实现（tensorflow）
热门推荐
MachineLP的专栏
04-15 1万+
你要的答案或许都在这里：小鹏的博客目录paper：CosFace: Large Margin Cosine Loss（MLCL） for Deep Face Recognition下载地址： https://arxiv.org/pdf/1801.09414.pdf论文中的cos loss：cos loss 的 TF 实现：def py_func(func, inp, Tout, stateful ...
sample = next(iter(train_ds)) inputs_shape = sample[0].shape[1:] inputs = keras.Input(shape=inputs_shape) # 输入层 def mcp_loss(y_true, y_pred, delta_p, model): p = y_pred[:, :, 0] # 取出所有样本和时间步的输入 p f = y_true[:, :, 0] # 取出所有样本和时间步的标签 f p_new = tf.expand_dims(p + delta_p, axis=-1) f_new = model(p_new)[:, :, 0] delta_f = f - f_new relu = tf.nn.relu(delta_f) return tf.reduce_mean(tf.square(relu)) def combined_loss(y_true, y_pred, delta_p, model, alpha=0.5): mse_loss = tf.keras.losses.mean_squared_error(y_true, y_pred) mcp_loss1 = mcp_loss(y_true, y_pred, delta_p, model) return alpha * mse_loss + (1-alpha) * mcp_loss1 model = model_attention_applied_before_lstm() combined_loss1=combined_loss() model.compile(optimizer=keras.optimizers.Adam(0.001), loss=combined_loss1) epochs = 80 # 网络训练 history = model.fit(train_ds, epochs=epochs, validation_data=val_ds)结合前面的训练数据集将这段代码的combined_loss1补充完整
最新发布
05-30
根据代码中的定义，`combined_loss`函数接收5个参数：`y_true`表示真实标签，`y_pred`表示模型的预测结果，`delta_p`是一个标量，`model`是一个Keras模型，`alpha`是一个可选的参数，默认值为0.5。 `combined_loss`函数的返回值是两种损失函数的加权和，其中第一种损失函数是均方误差（mean squared error，MSE），计算方式为`tf.keras.losses.mean_squared_error(y_true, y_pred)`；第二种损失函数是`mcp_loss`函数，需要传入参数`y_true`，`y_pred`，`delta_p`和`model`，计算方式如下： 1. 从`y_pred`中取出所有样本和时间步的输入`p`，从`y_true`中取出所有样本和时间步的标签`f`。 2. 将`p`加上`delta_p`，得到`p_new`，并将其在最后一个维度上扩展一维，以便输入到`model`中。调用`model`的预测方法，得到`f_new`。 3. 计算标签`f`与`f_new`之间的差值`delta_f`。 4. 对`delta_f`取ReLU激活函数，得到`relu`。 5. 返回`relu`的平方的平均值，即`tf.reduce_mean(tf.square(relu))`。 因此，将代码中的`combined_loss1`补充为： ``` delta_p = 0.01 combined_loss1 = lambda y_true, y_pred: combined_loss(y_true, y_pred, delta_p, model, 0.5) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值