机器学习中的损失函数

最新推荐文章于 2023-03-15 15:30:13 发布
VIP文章 最新推荐文章于 2023-03-15 15:30:13 发布
阅读量2.9k 收藏
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ding_xiaofei/article/details/82756191
版权

开篇

很多时候，机器学习的算法是可以按照损失函数来划分的，像我以前博客中提到的LR和SVM的区别，首先它们的损失函数就是不一样的。这边我还是先整理一部分损失函数，近期会逐步的完善。

0-1损失函数

该损失函数的意义就是，当预测错误时，损失函数值为1，预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度，也就是只要预测错误，预测错误差一点和差很多是一样的
在这里插入图片描述
很少被使用到，主要是不可导，必要是需要转化成其他可导的函数，才能完成算法的优化，后面介绍auc loss的时候可以详细谈谈怎么转化成可导的损失函数。

平方损失函数

预测差距的平方
在这里插入图片描述

绝对值损失函数

在这里插入图片描述

对数损失函数

在这里插入图片描述
典型的极大似然估计的思想，在这不多讲了

交叉熵损失函数

交叉熵就是用来判定实际的输出与期望的输出的接近程度
关于

最低0.47元/天 解锁文章
Ding_xiaofei
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一文读懂深度学习中的损失函数（Loss Function）：回归损失、二分类损失和多分类损失
CCC的专栏
07-27 1万+
机器学习中的所有算法都依赖于最小化或最大化一个函数，我们称之为损失函数（loss function），或“目标函数”、“代价函数”。损失函数是衡量预测模型在预测预期结果方面做得有多好。求函数最小点最常用的方法是梯度下降法。损失函数就像起伏的山，梯度下降就像从山上滑下来到达最底部的点。 没有一个单一的损失函数可以完美适用于所有类型的数据。它取决于许多因素，包括异常值的存在、机器学习算法的选择、梯度下降的时间效率等等。本文的目的是了解不同的损失函数，以及它们的原理。 损失函数大致可分为两类：分类损失和回归损失，
机器学习中的评估指标与损失函数
Yasin的博客
07-02 1万+
分类指标 模型评估 准确率accuracy是指分类正确的样本数与总样本数之比，即。其缺点在于，当样本类别比例非常不均衡时，如正负样本比为1:9，全部预测为负就可以得到90%的准确率。为了解决这个问题，可以使用平均准确率（每个类别样本准确率的算术平均）。 精确率和召回率多用于二分类，可结合混淆矩阵进行理解： TP和TN是预测正确的样本，FP和FN是预测错误的样本，TP+TN+FP+FN=...
AUC详解与python实现
lieying的博客
07-28 4万+
AUC（Area under curve）是机器学习常用的二分类评测手段，直接含义是ROC曲线下的面积，如下图： 要理解这张图的含义，得先理解下面这个表： 表中列代表预测分类，行代表实际分类： 实际1，预测1：真正类（tp） 实际1，预测0：假负类（fn） 实际0，预测1：假正类（fp） 实际0，预测0：真负类（tn） 真实负样本总数=n=fp+tn 真实正样...
机器学习学习笔记（2）——ROC、AUC与loss公式的推导过程
LiQZ的博客
08-22 3381
ROC与AUC是我看的很累的一节，主要是公式推导过程太复杂了，并且南瓜书上也没有写的特别明白计算过程，于是我就自行推导了一次两个公式，并且还有些许自己的理解。 本文使用的例子是南瓜书上的例子，南瓜书链接我会放在最后。 目录一、ROC1. 概念2. 绘制方法2.1 我的方法2.2 书上的方法2.3 两者的关系2.4 性能评价二、AUC1. 概念2. 计算三、loss1. 概念2. 计算四、参考 一、ROC 1. 概念 ROC全称是“受试者工作特征”（Receiver Operating Character.
二分类损失函数及AUC指标
myblog
07-27 3885
pytorch实现二分类器 主要问题在于输入输出，以及损失函数设置 from sklearn.metrics import roc_auc_score import torch.nn.functional as F import torch.nn as nn import torch class Net(nn.Module): def __init__(self,in_dim,hidden_dim,out_dim=1): super().__init__() self.fc1 =
AI基础：机器学习的损失函数
10-11
AI 基础：简易数学入门 AI 基础：Python开发环境设置和小技巧 AI 基础：Python 简易入门 ...AI基础：机器学习库Scikit-learn的使用 AI基础：机器学习简易入门 AI基础：特征工程-类别特征 AI基础：特征工程-数字特征处理
机器学习中的常见问题——损失函数
11-25
机器学习中的常见问题——损失函数
机器学习系列（三）——目标函数和损失函数
01-06
#机器学习基础（三） 文章目录4. 目标函数4.1 为什么要使用目标函数4.2 目标函数的作用原理4.3 为什么目标函数是负的4.4 ...在本文中着重介绍机器学习中的目标函数（代价函数，Cost Function）以及损失函数（Loss Fu
机器学习中的数学（2）：信息熵与损失函数1
08-03
机器学习中的数学（2）：信息熵与损失函数1
57_机器学习中常用的损失函数一览1
08-03
这明确下：损失函数 Loss Function 通常是针对单个训练样本的，给定个模型输出 和个真实值 ，损失函数输出个实值损失代价函数 Cost Functio
auc 损失_精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？
weixin_39703468的博客
11-20 666
模型评估有时候要用precision和recall，有时候用AUC，不存在优缺点问题，只存在适用性问题。模型评估为啥不用precision和recall？因为它支持不了我的决策啊。。 同样的问题，根据不同情况，我可以问100个: 为啥这个模型评估不用AUC？而要用logloss，因为它支持不了我的决策啊 为啥这个模型评估不用logloss，而要用ROI？因为它支持不了我的决策啊 为啥这个模型不用R...
auc 和loss_如何理解机器学习和统计中的AUC？
weixin_39582724的博客
12-20 376
之前各位的回答从各个角度解释了AUC的意义和计算方法，但是由于本人实在愚钝，一直没能参透AUC的意义和计算方法之间的联系，直到刚才突然有所顿悟，本着尽量言简意赅、浅显易懂的原则，在这里记录一下。首先，在试图弄懂AUC和ROC曲线之前，一定，一定要彻底理解混淆矩阵的定义！！！混淆矩阵中有着Positive、Negative、True、False的概念，其意义如下：称预测类别为1的为Positive(...
零基础入门金融风控-贷款违约预测之TASK1_赛题理解
weixin_46292496的博客
09-15 701
赛题以预测用户贷款是否违约为任务，根据借款人的数据信息预测其违约概率，提交结果为每个测试样本是1的概率。评价方法为AUC评估模型效果（越大越好）。 赛题链接：https://tianchi.aliyun.com/competition/entrance/531830/information 1、数据概况 数据包含47列变量信息，其中15列为匿名变量，总数据量超过120w，为了保证比赛的公平性，将从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、p
opencv3.3版本训练自己的物体分类器
热门推荐
刘延林
01-09 6万+
Opencv训练自己分类器 注：此文是我整理了网上的各方资料汇集而成，由于在实践中遇到了很多坑，所以把自己的成功训练的经验写下来做个笔记给大家做个参考,本文所使用 opencv版本为3.3 下载链接：https://opencv.org/releases/page/3/ 1.准备训练样本图片 1.1样本的采集： 样本图片最好使用灰度图，且最好根据实际情况做一定的预处理；样本数量...
【机器学习】损失函数(Loss Function)全总结(2023最新整理)关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
Next_SummerAgain的博客
03-15 1万+
【机器学习】损失函数(Loss Function)全总结(2023最新整理) 关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
机器学习中的损失函数（Loss Function）介绍、说明
weixin_44177594的博客
04-08 8779
损失函数损失函数介绍常见的损失函数1.对数损失函数（Logloss）2. hinge loss 合页损失函数3. exp-loss 指数损失函数4. cross-entropy loss 交叉熵损失函数5. quadratic loss 平方误差损失函数6. absolution loss (绝对值损失函数)7. 0-1 loss (0-1损失函数) 损失函数介绍 解决一个机器学习问题主要有两部分：数据和算法。 算法又有三个部分组成：假设函数、损失函数、算法优化。 损失函数： 用于计算损失的函数。在机器
机器学习-损失函数
Bryan__的专栏
05-06 3504
损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是 经验风险函数 的核心部分，也是 结构风险函数 重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： 其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，
auc 和loss_关于模型评估指标，可比性，LOSS，AUC，上下限
weixin_39853968的博客
12-20 1802
模型评估可以从多维度多指标进行评估。这里只谈论指标。我们常用的指标，logloss，mse，auc(GAUC)等等。其他指标包括gini(2*AUC -1)，PRauc，KS(max(TPR−FPR))，acc，precision，F1 score。对于预估分数的指标包括其分布的值，比如CoV(变异系数)，std，avg，等等。还有别的指标，如oe等。首先，需要明确，这些指标有没有可比性，在什么情...
softmax、cross entropy和softmax loss学习笔记
Boys_Wu的博客
10-25 570
softmax 接触到softmax网络，知道其是全连接层，但没有搞清楚它的实现方式，进他又接触到了softmax，果断仔细研究研究，有了softmax，损失函数自然不可少。 先讲softmax。 softmax是一个全连接层，功能是将卷积神经网络计算后的多个神经元输出，映射到（0，1）区间，给出每种分类的概率情况。下面主要记录全连接层到损失层是如何计算的。 图的等号左边为全连接，w为权值，x是全...
为什么要用log, 机器学习中损失函数。
最新发布
06-07
在机器学习中，损失函数是用来衡量模型输出与真实标签之间差异的函数。损失函数越小，模型的预测结果就越接近真实标签。而在某些情况下，我们需要对损失函数进行取对数的操作。 一般来说，我们使用对数损失函数来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值