qq_41917697的博客

Focal Loss处理样本不平衡前言样本不平衡的解释在交叉熵上的改进pytorch代码禁止任何形式的转载！！！前言《Focal Loss for Dense Object Detection》论文地址：https://arxiv.org/pdf/1708.02002.pdfICCV2017 ，Focal Loss虽然一开始提出是为了解决单阶段目标检测算法中的样本不平衡问题，但是照样是可以用在其它样本不平衡的任务之中。样本不平衡的解释相比于大段文字，我更喜欢用简洁直观的图来概括：在交叉熵上

Bi -Tempered Logistic Loss 使用嘈杂数据训练神经网络的双温度逻辑损失函数前言问题方法效果计算方式前言机器学习（ML）算法生产的模型的质量直接取决于训练数据的质量，但现实世界的数据集通常包含一定量的噪音，训练数据集里的标签通常不会都是正确的，比如图像分类，如果有人错误地把猫标记成狗，将会对训练结果造成不良的影响。当然错误的标签也分明显的错误和不明显的错误，针对这个问题可以采用Bi -Tempered Logistic Loss来缓解错误标签带来的影响。论文:《Robust B

标签平滑Label Smoothing前言Label Smoothing代码实现后续相关前言对于分类问题，lable常常是one-hot编码的，即[0,0,1,0,0]形式。全概率1和0鼓励所属类别和其他类别之间的差距尽可能加大，然而，在分类问题中不同种类的类别不一定完全没有相似的特征，不能这样一杆子打死。对于我们常用的交叉熵损失函数，我们需要用预测分布q去拟合真实分布p，现在我们来看一下拟合one-hot的分布所带来的问题：1)例如，输出为[0.1,0.7,0.1,0.1]，由于要使得Loss尽

Logistic Regression与Logistic Loss前言Logistic RegressionLogistic LossLogistic Loss与Cross Entropy Loss前言神经网络的输出通常为Z=wTx+b，为了后续分类，需要将编码Z转换为概率。因此需要满足两个条件：一是概率应该为0-1，二是分类的概率总和为1。Logistic RegressionLogistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题，Logistic函数（或称为