机器学习
文章平均质量分 72
后脑勺
这个作者很懒,什么都没留下…
展开
-
关于梯度下降的的一些理解
***关于梯度下降的的一些理解***印象特别深的就是那个站在小山上,寻找最快下山的路径的描述:站在小山上,每往下走一步,就观察一下,看是不是最快的下山的路,每次的观察,就是寻找最优的thet的方法。梯度下降是伴随回归问题的,一般,梯度下降是为了求出回归问题的参数thet的最优解。下面贴两个网址,有C和matlab的代码,我就不献丑了http://blog.sina.com.cn/s/blog原创 2016-01-13 23:44:24 · 548 阅读 · 0 评论 -
拉格朗日对偶问题中对偶性的理解
摘自: http://blog.csdn.net/donger_soft/article/details/39556435首先说明本文讨论用的符号,拉格朗日函数: L(x,λ,ν)=f0(x)+∑λifi(x)+∑νihi(x)对偶问题的对偶性体现这个理解来自于斯坦福的课程——凸优化:“我们注意到标准形式线性规划和不等式形式线性规划以及它们的转载 2016-09-21 21:08:34 · 2438 阅读 · 0 评论 -
PCA 数学原理 (讲的很到位啊)
摘自 http://blog.codinglabs.org/articles/pca-tutorial.htmlPCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于PCA的文章有很多,但是大多数只描述了PCA的分析过程,而没有讲述其转载 2016-09-17 23:04:12 · 758 阅读 · 0 评论 -
SVM 详解8
SVM入门(十)将SVM用于多类分类从 SVM的那几张图可以看出来,SVM是一种典型的两类分类器,即它只回答属于正类还是负类的问题。而现实中要解决的问题,往往是多类的问题(少部分例外,例如垃圾邮件过滤,就只需要确定“是”还是“不是”垃圾邮件),比如文本分类,比如数字识别。如何由两类分类器得到多类分类器,就是一个值得研究的问题。还以文本分类为例,现成的方法有很多,其中一种一劳永逸的方转载 2016-09-12 21:20:58 · 389 阅读 · 0 评论 -
SVM 详解7
SVM入门(九)松弛变量(续)接下来要说的东西其实不是松弛变量本身,但由于是为了使用松弛变量才引入的,因此放在这里也算合适,那就是惩罚因子C。回头看一眼引入了松弛变量以后的优化问题:注意其中C的位置,也可以回想一下C所起的作用(表征你有多么重视离群点,C越大越重视,越不想丢掉它们)。这个式子是以前做SVM的人写的,大家也就这么用,但没有任何规定说必须对所有的松弛变量都使用同一个转载 2016-09-12 21:19:57 · 363 阅读 · 0 评论 -
SVM 详解4
SVM入门(六)线性分类器的求解——问题的转化,直观角度让我再一次比较完整的重复一下我们要解决的问题:我们有属于两个类别的样本点(并不限定这些点在二维空间中)若干,如图,圆形的样本点定为正样本(连带着,我们可以把正样本所属的类叫做正类),方形的点定为负例。我们想求得这样一个线性函数(在n维空间中的线性函数):g(x)=wx+b使得所有属于正类的点x+代入以后有g(x+)转载 2016-09-12 21:13:41 · 420 阅读 · 0 评论 -
SVM 详解5
SVM入门(七)为何需要核函数生存?还是毁灭?——哈姆雷特可分?还是不可分?——支持向量机之前一直在讨论的线性分类器,器如其名(汗,这是什么说法啊),只能对线性可分的样本做处理。如果提供的样本线性不可分,结果很简单,线性分类器的求解程序会无限循环,永远也解不出来。这必然使得它的适用范围大大缩小,而它的很多优点我们实在不原意放弃,怎么办呢?是否有某种方法,让线性不可分的数据变得线转载 2016-09-12 21:15:11 · 389 阅读 · 0 评论 -
SVM 详解6
SVM入门(八)松弛变量现在我们已经把一个本来线性不可分的文本分类问题,通过映射到高维空间而变成了线性可分的。就像下图这样: 圆形和方形的点各有成千上万个(毕竟,这就是我们训练集中文档的数量嘛,当然很大了)。现在想象我们有另一个训练集,只比原先这个训练集多了一篇文章,映射到高维空间以后(当然,也使用了相同的核函数),也就多了一个样本点,但是这个样本的位置是这样的:转载 2016-09-12 21:16:29 · 262 阅读 · 0 评论 -
SVM 详解3
SVM入门(五)线性分类器的求解——问题的描述Part2从最一般的定义上说,一个求最小值的问题就是一个优化问题(也叫寻优问题,更文绉绉的叫法是规划——Programming),它同样由两部分组成,目标函数和约束条件,可以用下面的式子表示:(式1)约束条件用函数c来表示,就是constrain的意思啦。你可以看出一共有p+q个约束条件,其中p个是不等式约束,q个等式约束。关于转载 2016-09-12 21:12:09 · 330 阅读 · 0 评论 -
SVM 详解2
SVM入门(四)线性分类器的求解——问题的描述Part1上节说到我们有了一个线性分类函数,也有了判断解优劣的标准——即有了优化的目标,这个目标就是最大化几何间隔,但是看过一些关于SVM的论文的人一定记得什么优化的目标是要最小化||w||这样的说法,这是怎么回事呢?回头再看看我们对间隔和几何间隔的定义:间隔:δ=y(wx+b)=|g(x)|几何间隔:转载 2016-09-12 21:10:57 · 489 阅读 · 0 评论 -
SVM 详解
按:之前的文章重新汇编一下,修改了一些错误和不当的说法,一起复习,然后继续SVM之旅.(一)SVM的八股简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维转载 2016-09-12 21:09:26 · 970 阅读 · 0 评论 -
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却转载 2016-09-10 23:01:29 · 616 阅读 · 0 评论 -
k-d tree
首先来一个问题: 给定平面上一个点集 E ,还有一个定点 V ,怎么在一群点中找出一个点 U,使得 V 与 U 的距离最近(欧几里得距离)?当然,我们能够想到一种做法:枚举 E 中所有的点,找出它们中距离V 最近的点 U。但是,假设现在有两个点集 E1 与 E2 ,对于 E2 中每一个点 Vi ,找出一个在E1 中的一个点 Ui,使得 Vi 到 Ui 的距离最短,这怎转载 2016-10-09 16:37:41 · 609 阅读 · 0 评论