关于SVM与hingeloss

最新推荐文章于 2024-03-13 22:33:34 发布
最新推荐文章于 2024-03-13 22:33:34 发布
阅读量1.4k 收藏 1
点赞数
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37990514/article/details/121658884
版权

今天看ranknet的加速，到损失函数推导部分，想起hinge loss，又想起SVM经常使用hinge loss用于优化模型。于是思考一下为什么SVM要与hinge loss搭配。
hinge loss = max(0, 1-z), 在SVM中z=yi(wxi+b)
SVM是通过支持向量来优化模型的，以二分类为例，yi取值为{-1,1},代表在分类超平面左侧和右侧，期望模型预测的wxi+b与yi同号，因此当同号时z=1，loss=0不需要优化，当异号时模型误判需要计算loss更新参数，此时z<1,所以1-z>0,因此loss=1-z，会计算1-z的梯度进行反传并更新参数

https://blog.tsingjyujing.com/ml/recsys/bpr_and_hinger
https://blog.tsingjyujing.com/ml/recsys/ranknet

雾十
关注
理解Hinge Loss (折页损失函数、铰链损失函数)
jacke121的专栏
05-19 6788
理解Hinge Loss (折页损失函数、铰链损失函数) 原文：https://blog.csdn.net/fendegao/article/details/79968994 Hinge Loss是机器学习领域中的一种损失函数，可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的目标函数。 在二分类情况下，公式如下： L(y) =max(0 , 1 –t⋅...
Hinge loss
hustqb的博客
10-25 6万+
声明： 参考自维基百科 后面可能会更新 Hinge Loss   在机器学习中，hinge loss作为一个损失函数(loss function)，通常被用于最大间隔算法(maximum-margin)，而最大间隔算法又是SVM(支持向量机support vector machines)用到的重要算法(注意：SVM的学习算法有两种解释：1. 间隔最大化与拉格朗日对偶；2. Hinge L...
机器学习之SVM的损失函数（Hinge Loss)
Snow_yuki的博客
06-03 5247
损失函数： 是用来衡量一个预测器在对输入数据进行分类预测时的质量好坏。损失值越小，分类器的效果越好，越能反映输入数据与输出类别标签的关系（虽然我们的模型有时候会过拟合——这是由于训练数据被过度拟合，导致我们的模型失去了泛化能力）。 相反，损失值越大，我们需要花更多的精力来提升模型的准确率。就参数化学习而言，这涉及到调整参数，比如需要调节权重矩阵W或偏置向量B，以提高分类的精度。 多类SVM： 它是...
SVM损失函数--Hinge loss 简介
weixin_42108090的博客
09-10 2597
在机器学习中，hinge loss是一种损失函数，它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为： 其中 y^\hat{y}y^​ 表示预测输出，通常都是软结果（就是说输出不是0，1这种，可能是0.87。）， y 表示正确的类别(标签)。 如果 yy^<1y\hat{y}<1yy^​<1 ，则损失为： 1−yy^1-y\hat{y}1−yy^​ 如果 yy^≥1y\hat{y}\ge1yy^​≥1 ，则损失为：0 SVM的损失函数就是Hinge l
2线性分类器基本原理-2.2线性分类器之SVM和折叶损失(Hinge Loss)
hongxue8888的博客
12-04 1949
图像分类器模型的整体结构： 损失函数：从上一节定义了图像像素值到所属类别的评分函数（score function），该函数的参数是权重矩阵W。在函数中，数据(xi,yi)(x_i,y_i)是给定的，不能修改。但是我们可以调整权重矩阵这个参数，使得评分函数的结果与训练数据集中图像的真实类别一致，即评分函数在正确的分类的位置应当得到最高评分（score）。 回到之前那张猫的图像分类例子，它有针对猫、
机器学习之SVM(Hinge Loss+Kernel Trick)原理推导与解析
热门推荐
KI的博客
07-04 10万+
支持向量机（Support Vector Machine, SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面。 本文借助了李宏毅机器学习笔记，主要是用通俗易懂的语言来推导出hinge loss和kernel trick。......
hinge loss
小麦粒的Python
07-26 7430
在机器学习中，hinge loss作为一个损失函数(loss function)，通常被用于最大间隔算法(maximum-margin)，在网上也有人把hinge loss称为铰链损失函数，它可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的损失函数。而最大间隔算法又是SVM(支持向量机support vector machines)用到的重要算法(注意：SVM的学习算法有两种解释：1. 间隔最大化与拉格朗日对偶；2. Hinge Loss)。
基于Hinge Loss的Linear SVM梯度下降算法数学推导
sunlanchang的博客
04-01 3353
传统的SVM使用凸二次规划的方式进行优化，使得损失函数收敛，参考李宏毅教授的机器学习课程的SVM的梯度下降的优化算法推导非常的简单明了，这里记录一下，并且参考Siraj Raval的例子使用梯度下降进行深入理解。 实例 生成训练SVM的数据 #To help us perform math operations import numpy as np #to plot our data and m...
基于ML loss的SVM分类算法
04-30
为了提高SVM在噪声环境下的分类效果，提出使用结合了pinball和LS损失函数的ML loss来降低对噪声的敏感性，将其应用到SVM中得到MLSVM模型。根据LS损失函数具有结构风险最小化的特性和等式约束来简化求解过程，然后...
Python 机器学习 SVM算法的损失函数
最新发布
weixin_42098295的博客
03-13 1401
SVM的损失函数目的在找到能够最大化边界间隔的最优超平面。最常用的SVM损失函数是合页损失（Hinge Loss）函数，为了避免过拟合，通常在损失函数中加入正则化项，最常见的是L2正则化，其目的是限制模型权重的大小，从而增加模型的泛化能力。梯度下降是一种优化算法，用于最小化SVM的损失函数。通过计算损失函数对于每个参数的梯度，梯度下降算法可以知道如何调整参数以减少损失。在每次迭代中，它都会根据梯度的方向和大小，更新权重和偏置，以此逐步逼近最小损失对应的参数值。
Hinge 损失函数与SVM
Iris_6713的博客
06-23 1117
要想搞明白Hinge损失函数，不得不来讨论一下SVM（支持向量机） SVM 支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，SVM的的学习策略就是间隔最大化。 SVM算法原理 SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。 能够分类下列数据的超平面有很多个，但间隔最大的分离超平面是唯一的。 几何间隔： 对于给定的数据集和超平面 wx+b=0 ，定义超平面关于样本点 （xi， yi）
【损失函数】Hinge Loss 合页损失
Next_SummerAgain的博客
01-04 4109
Hinge Loss（合页损失）通常用于支持向量机（Support Vector Machine，SVM）等模型中，特别是在二分类问题中。它的目标是使正确类别的分数与错误类别的最高分之间的差异达到一个固定的边界，从而促使模型学会产生更大的间隔。
【机器学习】SVM之Hinge Loss，从LR到SVM，SVM核函数进一步理解
qq_32742009的博客
08-05 8838
Hinge Loss 解释 SVM 求解使通过建立二次规划原始问题，引入拉格朗日乘子法，然后转换成对偶的形式去求解，这是一种理论非常充实的解法。这里换一种角度来思考，在机器学习领域，一般的做法是经验风险最小化 （empirical risk minimization,ERM），即构建假设函数（Hypothesis）为输入输出间的映射，然后采用损失函数来衡量模型的优劣。求得使损失最小化的模型即为最...
SVM hinge loss 理解
Lord_sh的博客
03-26 394
常见的损失函数(loss function)总结 - yyHaker的文章 - 知乎 https://zhuanlan.zhihu.com/p/58883095
SVM（支持向量机）之Hinge Loss解释
weixin_34152820的博客
08-07 1798
Hinge Loss解释 　　SVM 求解使通过建立二次规划原始问题，引入拉格朗日乘子法，然后转换成对偶的形式去求解，这是一种理论非常充实的解法。这里换一种角度来思考，在机器学习领域，一般的做法是经验风险最小化 ERM ，即构建假设函数为输入输出间的映射，然后采用损失函数来衡量模型的优劣。求得使损失最小化的模型即为最优的假设函数，采用不同的损失函数也会得到不同的机器学习算法，比如这...
svm hinge损失函数详解
霜叶的博客
03-21 1370
1、从软间距的角度来考虑损失问题 实际情况下几乎不存在完全线性可分的数据，为了解决这个问题，引入了“软间隔”的概念，即允许某些点不满足约束 2、从合页损失的角度来考虑损失问题 在学习支持向量机的过程中，我们知道其损失函数为合页损失函数。至于为什么叫这个名字，李航老师的《统计学习方法》上是这么说的：由于函数形状像一个合页，故命合页损失函数。下图为合页损失函数的图像（取自《统计学习方法》）： https://zhuanlan.zhihu.com/p/31886934(从软间距..
Hinge loss 与二分类SVM
wonengguwozai的博客
04-18 2224
原文地址：http://breezedeus.github.io/2015/07/12/breezedeus-svm-is-hingeloss-with-l2regularization.htmlSVM等于Hinge损失 + L2正则化这里说的SVM是指最原始的2分类SVM，不考虑SVM的其他各种扩展。为简单起见，我们也只考虑线性SVM，对于带核函数的SVM，利用相似的推导我们可以获得相同的结论：...
机器学习SVM函数
赵广陆
10-16 2484
目录 1 SVM的损失函数 2 SVM的核方法 2.1 什么是核函数 2.1.1 核函数概念 2.1.2 核函数举例 2.1.2.1 核方法举例1 2.1.2.2 核方法举例2 2.2 常见核函数 2.3 小结 3 SVM回归 1 SVM的损失函数 在SVM中，我们主要讨论三种损失函数：
SVM一些问题及思考
老哥的专栏
09-11 1600
给定训练集合 D=(x1,y1)，(x2,y2)……(xn,yn)\begin{equation} D = (x_{1},y_{1})，(x_{2},y_{2})……(x_{n},y_{n}) \end{equation}划分超平面 wTx+b=0\begin{equation} w^{T}x+b = 0 \end{equation} 点到直线距离 r=|wTx+b|||w||\b
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值