损失函数
图像处理领域的损失函数汇总
hzhj
写作不只为了传播,更重要的是思考和学习。
展开
-
EMD loss
Earth Mover's Distance (EMD),翻译过来是地球移动距离,又称为推土机距离,是对特征空间中两个多维矩阵中某一维距离的一种度量。The Earth Mover's Distance (EMD) is a method to evaluate dissimilarity between two multi-dimensional distributions in some feature space where a distance measure between single f原创 2020-05-15 07:17:29 · 6430 阅读 · 1 评论 -
CTC loss
为方便理解损失值计算的由来,先介绍相关概念。伪字符,为解决重复字符(eg. hello)或字符间存在的空白区域而引入的无用字符。对输入字符串而言,将伪字符插入到字符串的相邻字母间,则当给定字符串长度为L时,变换后的字符串长度为2*L + 1。 ps 该字符与空字符不同,空字符为有效字符。 路径,表示时间序列上从起点到终点所对应每个元素的概率的乘积,如下公式所示。其中x表示给定输入,π表示...原创 2020-05-10 10:58:42 · 4043 阅读 · 0 评论 -
Focal Loss for Dense Object Detection
论文通过对比一阶段和二阶段检测算法结果的差异发现,样本不均衡是导致one-stage detectors效果不如two-stage detectors好的主要原因。因为后者的分类器是针对少量样本(如RPN得到的区域)进行学习后得到的性能较好的分类器,而一阶段分类器受到大量负样本损失值的影响,训练后的判定性能不如二阶段分类器。作者基于此重新优化了损失函数,进而解决样本不均衡带来的影响。论文中...原创 2019-05-09 08:19:02 · 190 阅读 · 0 评论 -
人脸损失函数的各种变体
人脸损失函数的各种变体都是基于softmax的交叉熵损失函数进行改进的,因此本文首先介绍基础形式,然后对各种变体进行说明。基于softmax的交叉熵损失函数先放上两者的基本形式 CE形式,其中为样本真实分布,为该样本观察分布 Softmax形式基于softmax的交叉熵损失函数,就是利用softmax的值替代CE中样本的观察分布,真实分布为...原创 2019-04-27 18:52:38 · 545 阅读 · 0 评论 -
统计学习方法三要素
本文节选自李航博士《统计学习方法》第一章第三节的内容。文中将统计学习方法简单表示为如下公式。另外,后文中提及的内容主要是针对监督学习进行说明。方法=模型 + 策略 + 算法 监督学习过程中,模型就是所要学习的条件概率分布或决策函数(即训练集到样本集的映射函数)。其假设空间包括所有可能的条件概率分布或决策函数。 策略用于帮助从假设空间中选择最优模型。此时引入损失函数...转载 2018-09-28 20:25:06 · 512 阅读 · 0 评论