支持向量机的概率计算

最新推荐文章于 2024-05-21 15:39:00 发布
最新推荐文章于 2024-05-21 15:39:00 发布
阅读量2.3k 收藏 6
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/joey_hu0922/article/details/123984798
版权
本文介绍了支持向量机(SVM)如何计算输出标签的概率，特别是John C. Platt提出的概率校准方法。Platt校准包括直接训练逻辑关联函数的SVM模型和使用SVM决策值映射到概率的sigmoid函数。文章详细讨论了sigmoid函数的模型训练，包括参数优化、防止过拟合的方法，并指出Platt原始训练算法存在的问题及其改进方案。
摘要由CSDN通过智能技术生成

1. 引言

      最近在简单复现SVM算法时，了解了一下SVM输出标签概率的方法。简单记录于此，以求斧正于方家。

      标准的SVM算法是将决策函数计算出的决策值输入符号函数然后输出标签，这个决策值是一个未校准值(uncalibrated value)而不是一个标签的后验概率P(class | input)。简而言之，标准的SVM算法无法直接输出标签的后验概率分布，而在某些场景下，例如需要根据输出标签的概率做全局最优决策，后验概率就显得十分必要。

2. 两种方式

        为了解决这个问题，著名的SVM算法实现库libsvm采用了John C. Platt(1999)的一篇名为《Probabilistic Outputs for Support Vector Machinesand Comparisons to Regularized Likelihood Methods》论文中阐述的SVM概率计算的方法。

在文章中，Platt提到了两种使SVM输出后验概率的方式：

1.      直接训练一个带有逻辑关联函数(logit link function)和正则化的最大似然分数(regularized maximum likelihood score)的SVM模型；

2.      首先训练一个标准的SVM模型，然后额外训练一个可以将SVM模型的输出映射成概率的sigmoid函数。

2.1 联结函数

第一种方式的一种方法是由G. Wahba提出的，他使用了一个如下的逻辑联结函数： 

  P(class|input)=P(y=1|x)=P(x)=\frac{1}{1+exp(-f(x)))}

其中f(x)为SVM的决策函数。训练SVM模型就是最小化一个负对数多项式似然(negative log multinomial likelihood)项加一个再生核希伯特空间(Reproducing Kernel Hilbert Space, RKHS)的正则项:

  -\frac{1}{m}\Sigma_i[\frac{y_i+1}{2}log(p_i)+\frac{1-y_i}{2}log(1-p_i)]+\lambda||h||_F^2

其中p_i=P(x_i)，输出一个后验概率。

       然而Platt认为直接训练联结函数的方式导致的一个问题是使SVM模型失去参数的稀疏性（即除了支持向量和间隔内的向量之外的其他向量的系数都为0）。虽然以上训练的SVM也有方法可以克服这个缺点，但是不能直接训练出一个像标准SVM一样的稀疏模型

最低0.47元/天 解锁文章
胡尔摩斯
关注
专栏目录
一文详尽之支持向量机算法！
Datawhale
05-07 1662
Datawhale干货作者：小一，Datawhale优秀学习者寄语：本文介绍了SVM的理论，细致说明了“间隔”和“超平面”两个概念；随后，阐述了如何最大化间隔并区分了软硬间隔SVM；...
svc预测概率_机器学习实战 | 支持向量机·sklearn 参数详解
weixin_39631667的博客
12-20 1177
接上篇的内容，相信大家已经对 SVM 已有些了解，关于 SVM 的公式推导可参考李航《统计学习方法》第七章，讲的非常清楚，这里我就不展开讲了。今天给大家带来的是 Sklearn 中的 SVM 参数介绍及简单应用。先来回顾一些基本的概念：线性/非线性线性是指量与量之间按比例，成直线关系，在数学上可理解为一阶导数为常数的函数；而非线性是指不按比例，不成直线关系，一阶导数不为常数的函数。线性可分/不可分...
一文解析支持向量机（附公式）
数据派THU
03-18 4561
来源：机器学习算法与自然语言处理本文图文结合，建议阅读7分钟。本文为你详细描述SVM产生的过程。前言众所周知 SVM 是非常强大的一种分类算法，有着媲美神经网络的分类效果，实现过程却简单得多。受限于我的能力，这篇文章不会系统地介绍 SVM（因为我并不是线性代数、凸优化等方面的专家），而是以一个学习者的角度描述 SVM 产生的过程，由于内容较长，计划分成三到四篇一个好的分类是怎么样的图中的两组数据，
支持向量机算法
曾经沧海难为水
03-13 1万+
支持向量机 　　支持向量机是一种二类分类模型。其基本模型为定义在特征空间上的间隔最大的线性分类器，间隔最大是它有别有感知机。支持向量机还包括核技巧，使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，形式的化为求解凸二次规划问题，也等价于正则化的和业务损失函数的最小化问题。 　　支持向量机学习算法模型分类： 　　（1）线性可分支持向量机。当训练集线性可分的时候，通过硬间
详解SVM支持向量机算法(五:概率输出、合页损失、多分类、回归模型)
RayChiu757374816的博客
10-22 5786
SVM的概率化输出 模型预测结果校准——Platt Scaling Platt scaling is a method for transforming SVM outputs from to posterior probabilities (Platt, 1999). [1] Platt (1999) proposed transforming SVM predictions to posterior probabilities by passing...
支持向量机模型_支持向量机_相关向量机_支持向量机模型_
10-02
支持向量机（Support Vector Machine...MATLAB作为常用的数值计算和数据分析平台，提供了丰富的工具和函数来实现和支持向量机的学习与应用。通过深入学习和实践，我们可以掌握这些技术，并将其运用到实际问题的解决中。
SVM案例练习_SVM_支持向量机
09-10
支持向量机（Support Vector Machine，简称SVM）是一种强大的监督学习模型，广泛应用于分类和回归任务。SVM的核心思想是找到一个最优超平面，该超平面能够将不同类别的数据点最大程度地分开。在二维空间中，这个超...
遗传算法GA优化支持向量机回归算法SVR，python写，自带数据集
03-23
在本项目中，遗传算法被应用于优化支持向量机（Support Vector Machine, SVM）的参数，以提升其在回归任务中的性能。SVM是一种广泛应用的监督学习模型，它能处理分类和回归问题，尤其在小样本和高维空间中表现出色。...
matlab:基于支持向量机的手写数字识别
05-26
《基于支持向量机的手写数字识别：MATLAB实现与深度探索》 手写数字识别是一种广泛应用的人工智能技术，广泛应用于自动邮戳识别、银行支票读取、电子白板系统等领域。在这个主题中，我们将深入探讨如何利用MATLAB...
支持向量机，SVM，PSVM（概率支持向量机）（libsvm-3.22）0
04-15
能具体实现支持向量机分类、聚类，训练和测试，支持高斯分布的训练和测试
机器学习笔记--支持向量机
qq_44175983的博客
10-29 1664
1、支持向量机概述 1.1 基本概念 支持向量机（Support Vector Machine,SVM ） 是一类按监督学习方式对数据进行二元分类 的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面 。 1.2 硬间隔、软间隔和非线性 SVM [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-utYTZqZv-1635427227229)(9DB38BE78A154A6E80349AC55066FCA1)] 硬间隔指的就是完全分类准确，不能存在分类错误的情况。软间隔，就
超简单白话文机器学习 - 支持向量机SVM（含算法讲解，公式全解，手写代码实现，调包实现）
最新发布
qq_51222843的博客
05-21 2068
支持向量机，因其英文名为supportvectormachine，故一般简称SVM，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
条件概率与支持向量机的关联
程序员光剑
01-07 348
1.背景介绍 条件概率和支持向量机都是机器学习领域的重要概念。条件概率是用于描述一个随机事件发生的概率，而支持向量机则是一种用于解决二分类问题的有效算法。在本文中，我们将探讨条件概率与支持向量机之间的关联，并深入了解它们在实际应用中的作用。 1.1 条件概率的基本概念 条件概率是一种描述事件发生概率的概率统计方法，用于描述给定某个事件已经发生的情况下，另一个事件发生的概率。条件概率可以通过以...
机器学习-支持向量机
weixin_43761642的博客
10-25 363
支持向量机 在逻辑回归中，我们需要z远大于0，函数接近1 同理，z远小于0，函数接近于0 这是逻辑回归的损失函数 损失函数的图像分别为 在逻辑回归的基础上 我们分别以1，-1为分界，1之后的都为0，再延伸出一条直线（下图粉线），作为我们新的损失函数。 我们把y=1时的新的图像命名为cost1（z） y=0时的新的图像命名为cost0(z) 同时用cost1（z），cost0(z)替换我们逻...
机器学习----支撑向量机(SVM)
__Miracle__
08-23 1007
SVM 支持向量机（Support Vector Machine, SVM） 图中是一个样本空间，里面有一些样本点，分成红色和蓝色两类。 逻辑回归是要找到一根决策边界，由决策边界把数据分成两类。但可能存在这样一些数据（下图），可能存在多条决策边界。（不适定问题） 逻辑回归定义了一个损失函数，通过最小化损失函数求出决策边界。 假设逻辑回归算法最后求出的是这样一根直线（下图），它在前面的所给的样本空间中表现很好，但新来这样一个样本，那么很有可能它的分类结果是错误的。 这根决策边界的泛化效果不够好，因为它离
【机器学习详解】SVM解二分类,多分类,及后验概率输出
热门推荐
勿在浮砂筑高台
04-10 6万+
转载请注明出处:http://blog.csdn.net/luoshixian099/article/details/51073885 CSDN−勿在浮沙筑高台\color{Blue}{CSDN-勿在浮沙筑高台} 支持向量机(Support Vector Machine)曾经在分类、回归问题中非常流行。支持向量机也称为最大间隔分类器，通过分离超平面把原始样本集划分成两部分。首先考虑最简单
机器学习（十二）支持向量机
weixin_53312629的博客
02-11 908
本篇文章主要介绍了支持向量机（以下简写为 SVM）的相关内容，首先在逻辑回归的代价函数的基础上进行修改，引出了 SVM 的优化目标。随后解释了大间距分类器这种叫法的具体含义，即 SVM 会选择尽量把正负样本以最大间距分开的假设模型，以及其数学原理。接着介绍了核函数这部分的概念以及我们如何在支持向量机中使用它们。在构造判别边界时需要注意参数的选择。除此之外，在使用 SVM 的过程中需要进行核函数的选择。最后介绍了不同的情况下，应该选择使用哪种方法。
python 支持向量机 概率密度函数
03-08
Python支持向量机（Support Vector Machine，SVM）是一种常用的机器学习算法，用于分类和回归问题。它的基本思想是找到一个最优的超平面，将不同类别的样本分开，并且使得离超平面最近的样本点到超平面的距离最大化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值