小花生的博客

Tensorflow损失函数1.预备知识：Labels： 标签，在分类或者分割等问题中的标准答案。可以是1,2,3,4,5,6 。Labels_onehot： Onehot形式的标签，即如果有3类那么第一类表示为[1,0,0]，第二类为[0,1,0]，第三类为[0,0,1]。这种形式的标签更加的常见。Network.out: 网络最后一层的输出，注意是没有经过softmax的网络的输出，通...

损失敏感函数概述：权值均衡是指在模型训练，计算loss的时候，通过权值来均衡数据的分布。正常情况下，每个类别在损失函数中的权值是1.0。但是有时候，当某些类别特别重要的时候，我们需要给该类别的训练样本更大的权值。可以直接给对应的类别的样本的loss乘上一个因子来设定权值。在Keras中，可以这样：import kerasclass_weight = {"buy": 0.75, ...

回归与分类的本质区别浅层： 两者的的预测目标变量类型不同，回归问题是连续变量，分类问题离散变量。中层： 回归问题是定量问题，分类问题是定性问题。高层： 回归与分类的根本区别在于输出空间是否为一个度量空间。转载：https://www.jianshu.com/p/9ed10e758fbdhttps://www.zhihu.com/question/21329754/answer/2049...

Focal Loss论文：《Focal Loss for Dense Object Detection》问题： 目前主流的检测算法分为两个方向：（1）以R-CNN系列为代表的two-stage方向；（2）以YOLO系列为代表的one-stage方向。虽然one-stage方向的速度更快，但是其精度往往比较低。究其原因，有两个方面：1）正样本（Positive Example）和负样本（N...

Shrinkage Loss：论文：《Deep Regression Tracking with Shrinkage Loss》问题： Data Imbalance：常用的解决数据不平衡问题的方法是数据重采样和损失敏感函数。观察上图可以看出，对于输入的一个patch，输出的响应图P和软标签Y中，背景信息的差别其实并不大，但是由于这种简单的背景信息（负样本）较多，导致对于整张图的损失函数来说...

CHM Loss《Gradient Harmonized Single-stage Detector》2019，Buyu Li et al. CHM Loss代码：https://github.com/libuyu/GHM_Detection1.引言：one-stage的目标检测算法一直存在的问题是正负样本不均衡，简单和困难样本的不均衡。在one-stage算法中，负样本的数量要远远...

损失函数——交叉熵损失函数摘录：https://zhuanlan.zhihu.com/p/35709485http://jackon.me/posts/why-use-cross-entropy-error-for-loss-function/1.分类模型 与 Loss 函数的定义监督学习的 2 大分支：分类问题：目标变量是离散的。回归问题：目标变量是连续的数值。本文讨论的...

超多分类的Softmax参考：https://zhuanlan.zhihu.com/p/34404607https://zhuanlan.zhihu.com/p/35027284http://manutdzou.github.io/2017/08/20/loss-design.html2014年CVPR两篇超多分类的人脸识别论文：DeepFace和DeepIDTaigman Y, Y...

欧氏距离和余弦距离参考：https://blog.csdn.net/mr_evanchen/article/details/77511312一、欧几里得距离(Euclidean Distance)　　 欧氏距离是最常见的距离度量，衡量的是多维空间中各个点之间的绝对距离。公式如下：因为计算是基于各维度特征的绝对数值，所以欧氏度量需要保证各维度指标在相同的刻度级别。eg：在深度学习中，...

L2范数归一化转载：https://blog.csdn.net/geekmanong/article/details/51344732向量x(x_{1},x_{2},…,x_{n})的L2范数定义为：要使得x归一化到单位L2范数，即建立从x到x’的映射，使得x’的L2范数为1。则：结论：L2范数归一化就是向量中每个元素除以向量的L2范数注：博众家之所长，集群英之荟萃。...

Hinge Loss转载：https://zhuanlan.zhihu.com/p/35708936函数特性在机器学习中，hinge loss是一种损失函数，它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为：其中 y^\hat{y}y^​表示预测输出，通常都是软结果（就是说输出不是0，1这种，可能是0.87。）， yyy表示正确的类别。如果 y...

Contrastive Loss参考：https://zhuanlan.zhihu.com/p/35027284对比损失函数，来自Yann LeCun的论文《Dimensionality Reduction by Learning an Invariant Mapping》，出发点：增大类间差异并且减小类内差异。公式如下：Y=0表示x1和x2是相似的，Ls表示相似时候的度量，通常用...

Siamese Loss参考：https://blog.csdn.net/sxf1061926959/article/details/54836696孪生网络中的Siamese Loss，来自Yann LeCun的论文《Learning a Similarity Metric Discriminatively, with Application to Face Verification》，...

双约束的Loss Function摘录：https://zhuanlan.zhihu.com/p/34404607Sun Y, Chen Y, Wang X, et al. Deep learning face representation by joint identification-verification [C]// NIPS, 2014.Sun Y, Wang X, Tang ...

Triplet LossSchroff F, Kalenichenko D, Philbin J. Facenet: A unified embedding for face recognition and clustering [C]// CVPR, 2015.FaceNet是目前引用量最高的人脸识别方法，没有使用Softmax，而是提出了Triple Loss：模型结构：其中，前...

参考代码：Github: davidsandberg/facenettrain_tripletloss.py 代码解析1. main函数主要目标：构建整个训练的总体流程。流程简单介绍：（1）训练准备工作。（2）构建计算图：主要包括数据集构建，以及模型构建。（3）运行计算图（通过调用train函数实现）。（4）评估模型性能（通过调用evaluate函数实现）。难点介绍：为...

Center LossWen Y, Zhang K, Li Z, et al. A discriminative feature learning approach for deep face recognition [C]// ECCV, 2016.卷积神经网络的典型框架：Center Loss的目的是关注类内分布的均匀性，想让其绕类内中心均匀分布，最小化类内差异，公式如下：整体...

《Deep Face Recognition with Center Invariant Loss》2017，Yue Wu et al. Center Invariant Loss引言：在大多数人脸数据集中，大部分人脸图像很少，只有少数人经常出现更多的面部图像。人脸图像越多，对特征学习的影响就越大。这种不均衡的分布导致很难训练一个CNN模型来表示每个人的特征，而不是主要针对拥有大量人脸图...

《Ring loss: Convex Feature Normalization for Face Recognition》2018，Yutong Zheng et al. Ring loss参考：http://www.cnblogs.com/darkknightzh/p/8858998.html引言：本文提出了Ring loss，一种简单的深层网络特征归一化方法，用于增强诸如Soft...

Large-Margin Softmax Loss参考：https://zhuanlan.zhihu.com/p/34044634https://zhuanlan.zhihu.com/p/35027284https://zhuanlan.zhihu.com/p/34404607Liu W, Wen Y, Yu Z, et al. Large-Margin Softmax Loss for...

《SphereFace: Deep Hypersphere Embedding for Face Recognition》2017，Weiyang Liu et al. A-softmax loss(angular softmax loss)源码：https://github.com/wy1iu/sphereface参考：https://blog.csdn.net/qq_14845119/...

《Rethinking Feature Discrimination and Polymerization for Large-scale Recognition》2017，Yu Liu et al. COCO loss参考：https://blog.csdn.net/cdknight_happy/article/details/79232002https://blog.csdn.net/...

《L2-constrained Softmax Loss for Discriminative Face Verification》2017，Rajeev Ranjan，L2-constrained Softmax Loss引言：人脸验证在LFW数据集上做的很好，但是在实际场景：存在大量视角、分辨率、图像质量变化和遮挡时，验证效果并没有那么理想。主要是两个原因造成的：1.数据质量不均衡...

《NormFace: L2 Hypersphere Embedding for Face Verification》2017，Feng Wang et al. NormFace源码：https://github.com/happynear/NormFace引言：首先论文分析存在的问题：在优化人脸识别任务时，softmax本身优化的是没有归一化的内积结果，但是最后在预测的时候使用的一般是...

《Island Loss for Learning Discriminative Features in Facial Expression Recognition》2017，Jie Cai et al. Island Loss参考：https://www.cnblogs.com/LaplaceAkuir/p/8243180.html引言：由于微妙的面部外观变化、头部姿势变化、光照变化...

《Additive Margin Softmax for Face Verification》2018，Feng Wang et al.引言：本文提出一个概念上简单且几何上可解释的目标函数：additive margin Softmax (AM-Softmax)，用于深度人脸验证，使得人脸特征具有更大的类间距和更小的类内距。同时，本文强调和讨论了特征归一化的重要性。实验表明AM-Soft...

《CosFace: Large Margin Cosine Loss for Deep Face Recognition》2018，Hao Wang et al. Tencent AI Lab引言：所有基于softmax loss改进的损失都有相同的想法：最大化类间方差和最小化类内方差。本文提出了一个新的损失函数：large margin cosine loss (LMCL)更具体地...

《ArcFace: Additive Angular Margin Loss for Deep Face Recognition》2018，Jiankang Deng et al.Insight Face引言：Centre loss主要惩罚了深层特征与其相应的欧几里得空间类中心之间的距离，以实现类内紧凑性。SphereFace假设在最后一个完全连接的层中的线性变换矩阵可以用角空间中的类...

《Git Loss for Deep Face Recognition》BMVC 2018，Alessandro Calefati et al.源码：https://github.com/kjanjua26/Git-Loss-For-Deep-Face-Recognition传统上，CNNs使用softmax作为监督信号来惩罚分类损失。本文引入了Git loss，进行联合约束，进一步提高...

特征归一化的重要性从最新方法来看，权值W和特征f(或x)归一化已经成为了标配，而且都给归一化特征乘以尺度因子s进行放大，目前主流都采用固定尺度因子s的方法(看来自适应训练没那么重要)；权值和特征归一化使得CNN更加集中在优化夹角上，得到的深度人脸特征更加分离；特征归一化后，特征向量都固定映射到半径为1的超球上，便于理解和优化；但这样也会压缩特征表达的空间；乘尺度因子s，相当于将超球的半...

不同margin的对比目前人脸识别算法以large margin为主，这里提出并讨论两个问题：问题一：large margin为什么能work？L-Softmax重构了Softmax，输出x变成W⋅f=∣W∣⋅∣f∣⋅cos(θ)W\cdot f=|W|\cdot |f|\cdot cos(\theta )W⋅f=∣W∣⋅∣f∣⋅cos(θ)，SphereFace归一化权值W，变成W⋅f=...

均方误差（MSE），二次损失，L2损失均方误差是最常用的回归损失函数，它是我们的目标变量和预测值的差值平方和。下图是均方误差函数图，其中目标真值为100，预测值范围在-10000到10000之间。均方误差损失（Y轴）在预测值（X轴）=100处达到最小值。范围为0到∞。摘录：https://zhuanlan.zhihu.com/p/39239829注：博众家之所长，集群英之荟萃。...

平均绝对误差，L1损失平均绝对误差（MAE）是另一种用于回归模型的损失函数。MAE是目标变量和预测变量之间绝对差值之和。因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向（如果我们考虑方向的话，那就是均值误差（MBE）了，即误差之和）。范围为0到∞。摘录：https://zhuanlan.zhihu.com/p/39239829注：博众家之所长，集群英之荟萃。...

MSE vs MAE （L2损失 vs L1损失）简而言之，使用平方误差更容易解决问题，但使用绝对误差对于异常值更鲁棒。我们来看一下为什么。不管我们什么时候训练机器学习模型，我们的目标都是想找到一个点将损失函数最小化。当然，当预测值正好等于真值时，这两个函数都会达到最小值。我们快速浏览一下这两种函数的Python代码。我们可以自己写函数，也可以用sklearn的内助度量函数：代码：# t...

Huber损失函数，平滑平均绝对误差相比平方误差损失，Huber损失对于数据中异常值的敏感性要差一些。在值为0时，它也是可微分的。它基本上是绝对值，在误差很小时会变为平方值。误差使其平方值的大小如何取决于一个超参数δ，该参数可以调整。当δ~ 0时，Huber损失会趋向于MAE；当δ~ ∞（很大的数字），Huber损失会趋向于MSE。δ的选择非常关键，因为它决定了你如何看待异常值。残差大于δ...

Log-Cosh损失函数Log-Cosh是应用于回归任务中的另一种损失函数，它比L2损失更平滑。Log-cosh是预测误差的双曲余弦的对数。优点：对于较小的X值，log(cosh(x))约等于(x ** 2) / 2；对于较大的X值，则约等于abs(x) - log(2)。这意味着Log-cosh很大程度上工作原理和平均方误差很像，但偶尔出现错的离谱的预测时对它影响又不是很大。它具备了H...