![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
lcdxshengpeng
学而时习之
展开
-
[支持向量机SVM] 西瓜书+个人理解 【1.基本形式】
支持向量机的基本型给定训练样本集 D = {(x1,y1), (x2,y2 ),…, (xm, ym)}, yi ∈{-1,+1},分类学习最基本的拉法就是基于训练集D在样本空间中找到一个划分超平面,将不同类别的样本分开。在样本空间中,划分超平面可通过如下线性方程来描述:其中ω =(ω 1; ω 2; … ;ω d) 为法向量,决定了超平面的方向, b 为位移项,决定了超平面与原点之间的...原创 2019-02-27 19:17:50 · 697 阅读 · 0 评论 -
[支持向量机SVM] 西瓜书+个人理解 【2.KKT条件】
我们上一节得到了SVM的基本型:切,原创 2019-03-15 16:47:19 · 368 阅读 · 0 评论 -
[支持向量机SVM] 西瓜书+个人理解 【3.从有约束最优化到无约束最优化】
对于一般性的有约束的优化问题,我们可以写出其一般模式: 此式代表在m个等式约束和n个不等式约束下对f(x)最小化的问题。下面我们通过构造广义的拉格朗日函数对其进行分析:我们构造这样的拉格朗日函数:其中我们最大化L(x,α,β)有:我们来分析一下上面这个式子:1. 对于原始的优化问题,在可行解区域内,有 并且,所以:那...原创 2019-03-15 20:24:31 · 438 阅读 · 0 评论 -
[支持向量机SVM] 西瓜书+个人理解 【4.对偶问题】
上一节我们得到,对于一般性的优化问题:我们可以转化为无约束的优化问题 ①另外,我们令, 则 ②我们观察①②两个式子,可以发现两个式子只是min和max的顺序做了交换,它们是对称的。并且有结论,①②有相同的解,这样我们就可以选择一个简单的来求解。下面我们结合SVM,来看在SVM中怎样找到其对偶问题:我们先看一下第一节中SVM的基本型:...原创 2019-03-15 22:30:31 · 1597 阅读 · 0 评论 -
[支持向量机SVM] 西瓜书+个人理解 【5.核函数】
在理解核函数之前我们先回顾一下之前的假设,我们的假设是训练数据是线性可分的,也就是存在一个超平面可以把两类样本分开。但是在实际任务中原始的样本空间中也许根本就不存在一个线性可分的超平面,例如比较常见的的异或问题。这个时候我们可以将样本空间映射到更高维的空间,从而使其线性可分。我们用φ(x)表示原始样本向量x映射后的向量,于是划分超平面模型就变为:根据上一节最后得到的SVM的基本型的对...原创 2019-03-16 21:40:15 · 1402 阅读 · 0 评论 -
深入理解ROC曲线和EER及其之间的关系
1.ROC曲线我们知道,在很多学习器中是通过将既定的阈值与学习器对测试样本预测值(实值/概率)进行比较。如果大于阈值则将其判为正类样本,小于阈值将其判为负类样本。这个实值或者概率预测结果的好坏,直接决定了学习器的泛化能力。我们可以根据学习器的预测结果对测试样本进行排序,将最有可能的正例排在前边,最不可能的排在后面。这样我们可以在这个序列中放置一个截断点来将样本分为两类,前面一部分判为正例,...原创 2019-04-02 11:30:36 · 6725 阅读 · 0 评论