机器学习面试第2弹 交叉熵损失vs.平方损失+ 合页损失函数HingleLoss+ 梯度下降函数的比较GD，SGD,Momentum，Adam

最新推荐文章于 2024-01-04 11:31:13 发布
最新推荐文章于 2024-01-04 11:31:13 发布
阅读量1.3k 收藏 5
点赞数 1
分类专栏： 机器学习 算法 文章标签： 机器学习 面试 损失函数 梯度下降
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/efei7968/article/details/88724712
版权
本文讨论了为何在机器学习中使用交叉熵损失函数而非平方损失，原因在于交叉熵损失能更快调整学习速率。同时介绍了合页损失函数HingleLoss，并探讨了梯度下降的挑战，包括mini-batch gradient descent中的学习率选择和避免陷入局部最优或鞍点问题。
摘要由CSDN通过智能技术生成

 

1. 为什么要用交叉熵损失代替平方损失

为什么不用二次方代价函数

权值​和偏置​的偏导数为​

求导过程

偏导数受激活函数的导数影响，sigmoid函数导数在输出接近0和1时非常小，会导致一些实例在刚开始训练时学习得非常慢。

Image result for sigmoid

 为什么要用交叉熵

Image result for cross entropy

最低0.47元/天 解锁文章
Hust_Shine
关注
专栏目录
GD.rar_GD算法 matlab_matlab 机器学习_matlab机器学习_机器学习_梯度下降
09-14
在机器学习领域，梯度下降（Gradient Descent）是一种广泛使用的优化算法，用于寻找目标函数的局部最小值。本资源“GD.rar”包含了MATLAB实现的梯度下降算法，是学习和理解机器学习中这一核心概念的理想工具。下面将...
详解机器学习由 信息量→熵→相对熵→交叉熵 ___转自狐友
丿回到火星去
07-29 1785
理解流程大致如下： 信息量X轴表示P y轴表示信息量   信息论 交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1 信息量 首先是信息量。假设我们听到了两件事，分别如下： 事件A：巴西队进入了2018世界杯决赛圈。 事件B：中国队进入了2018世界杯决赛圈。 仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的...
交叉熵损失和合页损失（分析）
taka_is_beauty的博客
03-25 918
1.合页损失函数 合页损失函数：是一种带有置信度的损失函数。 ps：可满足性比较容易达到。 ps：用svm的置信区间来进行比较。 它的通用表达式为： 带有软间隔的线性SVM，它最初的损失函数： 经过约束变形得到： 函数进一步可写为： 进一步：SVM的损失函数可以看为L2正则项和合页损失函数之...
tensorflow 2.0 （三）损失函数——MSE\Entropy\Hinge Loss
小白tree的博客
06-04 7033
计算预测值与正确解之间的误差是很重要的一步，一般有三种计算误差的方式 1.MSE => 有以下两种表现形式 来看看代码实现： import tensorflow as tf y = tf.constant([1,2,3,0,2]) y = tf.one_hot(y, depth=4) y = tf.cast(y, dtype=tf.float32) out = tf.random.no...
Tensrfow GAN Discriminator 如何使用hinge loss训练
麻花
04-24 4578
hinge loss 核心点：网络的输出要确保是[-1,1]范围 之前一直用cross entrype loss这一点没有台注意，所以之前一直没写对！ hinge loss 核心代码 def Hinge_loss(pos, neg, name='Hinge_loss'): with tf.variable_scope(name): d_loss ...
两层神经网络的参数求导过程
Python领域优质萌新创作者
04-15 927
梯度是一个关于参数的向量，指出每个参数的变化方向，以便在优化过程中更新参数。例如，在反向传播算法中，我们需要计算两个矩阵的按元素乘积，以便计算损失函数对权重参数的偏导数。综上所述，我们可以得到损失函数关于所有参数的偏导数公式。利用这些公式，我们可以使用梯度下降等优化算法来更新参数，从而不断改进神经网络的性能。首先，对于神经网络中的每个节点，都有一个加权和和一个激活函数。对于第一层，根据链式法则，我们可以计算出损失函数对第一层加权和。然后，根据链式法则，我们可以计算出损失函数对最后一层加权和。
Center-Loss-基于Pytorch实现Center-Loss损失函数-附项目源码.zip
最新发布
05-28
在深度学习领域，损失函数是模型训练的核心组成部分，它衡量了模型预测结果与真实值之间的差距。本项目重点探讨了一种特殊的损失函数——Center Loss，它在人脸识别等领域的特征学习中有着广泛的应用。Center Loss是...
PyTorch 激活函数、损失函数、优化器-谢TS的博客.pdf
07-17
例如，可以使用`nn.Module`创建网络结构，然后通过`nn.ReLU()`，`nn.Sigmoid()`等来添加激活层，选择`nn.L1Loss()`，`nn.CrossEntropyLoss()`等损失函数，最后使用`optim.SGD()`，`optim.Adam()`等优化器进行训练。...
机器学习之梯度下降法
01-06
1.基本概念 梯度下降法（Gradient descent）是一个一阶最优化算法。 要使用梯度下降法找到...批量梯度下降法的梯度是损失函数减小最快的方向，也就是说，对应相同的 theta 变化量，损失函数在梯度方向上的变化量最大；
机器学习入门：梯度下降法.rar
07-01
梯度下降法是寻找函数最小值的一种方法，尤其在机器学习中用于最小化损失函数。它通过迭代的方式逐步调整模型参数，使得损失函数值不断降低，直到达到局部最优或全局最优。在每次迭代中，梯度下降会沿着损失函数梯度...
交叉熵损失函数公式_交叉熵损失函数对其参数求导
weixin_39996035的博客
12-08 1223
1、Sigmoid 二分类交叉熵交叉熵公式：其中y是laebl：0 或1。 hθ(xi)是经过sigmoid得到的预测概率。θ为网络的参数, m为样本数。hθ（）函数如下所示，J（θ） 对参数θ的偏导数如下：求导过程：转自：https://blog.csdn.net/jasonzzj/article/details/52017438​blog.csdn.net2、Softmax 多分类交叉熵2.1...
二次代价函数和softmax交叉熵损失函数原理及分析
生命长跑
08-27 1123
首先看一下二次代价函数： 以二分类问题，常见的sigmoid激活函数为例，假设表示输入值，表示真实标签（0或1），表示预测输出，则二次代价函数可表示为： 其中 那么代价函数对权重和偏置的偏导数分别为： 从上式可以分析：当代价较大即输入输出差别较大时，的值趋于0或1，此时的值趋于0，既权重和偏置的梯度趋于0。这与我们所期望的当代价较大即输入输出差别较大时，以较大的梯度下降更新权重...
深度学习笔记：交叉熵(cross-entropy)损失函数解决二次型带来的学习速率下降问题
fanchenxinok的专栏
11-06 1万+
我们都希望我们的神经网络能够根据误差来加快学习的速度。但实际是什么样的呢？让我们先来看一个例子： 这个网络只有一个神经元，一个输入一个输出： 我们训练这个网络做一个简单的任务，输入1，输出0.当然这种简单的任务我们可以不用任何学习算法就可以手动算出权重值。 但我们这次试用梯度下降法尝试获得权重值和偏置值，损失函数使用二次型函数。接下来让我们看看这个神经元是怎么学习的。 首先，我选择
几种损失函数比较
lawenliu的专栏
12-08 8650
1. 综述 损失函数（Loss Function)是用来评估模型好坏程度，即预测值f(x)与真实值的不一致程度，通常表示为L(Y, f(x))的一个非负的浮点数。比如你要做一个线性回归，你拟合出来的曲线不会和原始的数据分布是完全吻合（完全吻合的话，很可能会出现过拟合的情况），这个差距就是用损失函数来衡量。那么损失函数的值越小，模型的鲁棒性也就越好，对新数据的预测能力也就越强。 通常提到损失函数......
hinge loss
小麦粒的Python
07-26 7422
在机器学习中，hinge loss作为一个损失函数(loss function)，通常被用于最大间隔算法(maximum-margin)，在网上也有人把hinge loss称为铰链损失函数，它可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的损失函数。而最大间隔算法又是SVM(支持向量机support vector machines)用到的重要算法(注意：SVM的学习算法有两种解释：1. 间隔最大化与拉格朗日对偶；2. Hinge Loss)。
给我推荐20个比较流行的深度学习损失函数
weixin_35752645的博客
01-04 308
二次损失函数 (Mean Squared Error, MSE) 绝对损失函数 (Mean Absolute Error, MAE) 交叉熵损失函数 (Cross-Entropy Loss) 交叉熵损失函数 + 带权重的交叉熵损失函数 (Weighted Cross-Entropy Loss) 分类交叉熵损失函数 (Categorical Cross-Entropy Loss) 二分类交叉熵损失...
Hinge 损失函数与SVM
Iris_6713的博客
06-23 1107
要想搞明白Hinge损失函数，不得不来讨论一下SVM（支持向量机） SVM 支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，SVM的的学习策略就是间隔最大化。 SVM算法原理 SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。 能够分类下列数据的超平面有很多个，但间隔最大的分离超平面是唯一的。 几何间隔： 对于给定的数据集和超平面 wx+b=0 ，定义超平面关于样本点 （xi， yi）
【损失函数】Hinge Loss 合页损失
Next_SummerAgain的博客
01-04 3967
Hinge Loss（合页损失）通常用于支持向量机（Support Vector Machine，SVM）等模型中，特别是在二分类问题中。它的目标是使正确类别的分数与错误类别的最高分之间的差异达到一个固定的边界，从而促使模型学会产生更大的间隔。
Hinge Loss简介
热门推荐
richard_che的博客
05-18 1万+
Hinge Loss简介 标准Hinge Loss Hinge本身是用于分类的Loss，给定Label y=±1y=\pm 1y=±1 这个Loss的目的是让预测值y^∈R\hat{y} \in Ry^​∈R和yyy相等的时候，返回0，否则返回一个线性值 基于2的需求，Hinge Loss的定义：L(y^)=max(0,1−y⋅y^)L(\hat{y}) = max(0, 1-y \cdot \hat{y})L(y^​)=max(0,1−y⋅y^​)。当yyy和y^\hat{y}y^​相等，Loss等于0
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值