机器学习实战第15章pegasos算法原理剖析以及伪代码和算法的对应关系

Pegasos原文是: http://www.ee.oulu.fi/research/imag/courses/Vedaldi/ShalevSiSr07.pdf 还是挺长的,论文结构是: 第1~6页:主要原理 第7~15页:讲一些定理配合核函数使用的一些理论 第16~26页:实验和参考文献 对于急...

2018-10-04 22:53:12

阅读数:41

评论数:0

等式约束和不等式约束下的KKT条件求法

一、写在前面 本篇内容主要写非线性规划等式约束和不等式约束下的KKT条件,主要通过举例说明。 二、等式约束下的KKT条件 1、 题目描述 考虑等式约束的最小二乘问题 minimizexTxsubject toAx=bminimize \quad x^Tx \\ subje...

2018-10-04 17:26:17

阅读数:16

评论数:0

次梯度(subgradient)

次导数 设f在实数域上是一个凸函数,定义在数轴上的开区间内。 这种函数不一定是处处可导的,例如绝对值函数f(x) = |x| 。 对于下图来说,对于定义域中的任何x0,我们总可以作出一条直线,它通过点(x0, f(x0)),并且要么接触f的图像,要么在它的下方。 直线(红线)的斜率称为函数的次导数...

2018-10-04 17:13:07

阅读数:25

评论数:0

svm硬间隔与软间隔(转)

硬间隔:完全分类准确,其损失函数不存在;其损失值为0;只要找出两个异类正中间的那个平面;软间隔:允许一定量的样本分类错误;优化函数包括两个部分,一部分是点到平面的间隔距离,一部分是误分类的损失个数;C是惩罚系数,误分类个数在优化函数中的权重值;权重值越大,误分类的损失惩罚的越厉害。误分类的损失函数...

2018-10-04 17:05:53

阅读数:15

评论数:0

SVM入门(八)松弛变量(转)

转载地址:SVM入门(八)松弛变量 现在我们已经把一个本来线性不可分的文本分类问题,通过映射到高维空间而变成了线性可分的。就像下图这样: 圆形和方形的点各有成千上万个(毕竟,这就是我们训练集中文档的数量嘛,当然很大了)。现在想象我们有另一个训练集,只比原先这个训练集多了一篇文章,映射到高维空间以后...

2018-10-04 17:05:08

阅读数:15

评论数:0

SVM和感知机的区别(转载+自己笔记)

感知机和SVM的区别: 1、相同点 都是属于监督学习的一种分类器(决策函数)。 2、不同点 感知机追求最大程度正确划分,最小化错误,效果类似紫线,很容易造成过拟合。支持向量机追求大致正确分类的同时,一定程度上避免过拟合,效果类似下图中的黑线。 感知机使用的学习策略是梯度下降法,感知机的目标是: m...

2018-10-02 18:29:56

阅读数:22

评论数:0

机器学习实战的P264中代码对应的公式推导

文章针对以下代码重点研究: xformedItems = dataMat.T * U[:,:4] * Sig4.I 首先是SVD分解的公式: Mm⋅n=Um⋅m⋅Σm⋅n⋅(Vn⋅n)TM_{m·n}=U_{m·m}·Σ_{m·n}·{(V_{n·n})}^{T} Mm⋅n​=Um⋅m...

2018-09-30 20:28:14

阅读数:65

评论数:0

FPgrwoth详解(转载+修改一处图片问题)

FP-growth算法,fpgrowth算法详解 下面使用的最小支持度是2,也就是说最小等于2算达标,对应代码中则是>minSup=1 使用FP-growth算法来高效发现频繁项集 前言 你用过搜索引擎挥发现这样一个功能:输入一个单词或者单词的一部分,搜索引擎酒会自动...

2018-09-28 15:14:44

阅读数:23

评论数:0

机器学习实战-第12章Fpgrowth代码勘误+递归打印效果分析

我们修改数据集,使用: 《数据挖掘导论》中的数据集: def loadSimpDat(): simpDat = [['a', 'b'], ['b', 'c', 'd'], ['a', 'c', 'd', 'e...

2018-09-28 09:21:22

阅读数:36

评论数:0

laplace平滑

我们已经描述过的朴素贝叶斯算法能够很好地解决许多问题,但是有一个简单的改变使得它更好地工作,特别是对于文本分类。让我们简单地讨论算法在当前形式下的问题,然后讨论如何修复它。 考虑垃圾邮件/电子邮件分类,让我们假设在完成CS229并完成了对项目的出色工作之后,您决定在2003年6月左右将您所做的工...

2018-09-14 16:32:41

阅读数:32

评论数:0

图表达相关书书籍调研

调研内容来自淘宝和亚马逊 下面一部分是纯理论的: <Knowledge Graph and Semantic Computing,Language, Knowledge, and Intelligence>(纯理论) <Knowledge Graph and Semanti...

2018-09-13 21:37:10

阅读数:49

评论数:0

岭回归原理公式推导

对应<机器学习实战>P146的岭回归公式 另外注意: 根据参考文献可知: Z is assumed to be standardized (mean 0, unit variance) (标准化) y is assumed to be cen...

2018-09-12 14:31:58

阅读数:67

评论数:0

局部加权线性回归(转)

Locally weighted linear regression(局部加权线性回归)     (整理自AndrewNG的课件,转载请注明。整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/)     前面几篇博客主要介绍了线性回归的学习算法,那么它有什么...

2018-09-12 10:12:38

阅读数:16

评论数:0

局部加权线性回归函数公式推导(转载)

下面的推导对应<机器学习实战>第八章的P142页 目标函数定义为: 我们的目标是最小化cost function: 换成线性代数的表述方式: 是mxm维的对角矩阵 注意这个地方对角线处,并不是指次数,而是指w的序号. 是mxn维的...

2018-09-11 21:35:07

阅读数:47

评论数:0

线性回归原理和实现基本认识(转载)

下面知识对应<机器学习实战>第八章的8.1节 一:介绍        定义:线性回归在假设特证满足线性关系,根据给定的训练数据训练一个模型,并用此模型进行预测。为了了解这个定义,我们先举个简单的例子;我们假设一个线性方程 Y=2x+1, x变量为商品...

2018-09-11 19:06:30

阅读数:20

评论数:0

Adaboost 算法的原理与推导(转载)

0 引言     一直想写Adaboost来着,但迟迟未能动笔。其算法思想虽然简单:听取多人意见,最后综合决策,但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午,在我组织的机器学习班 第8次课上讲决策树与Adaboost,其中,Adaboost讲得酣畅淋漓,讲完后,我知道,可以写本...

2018-09-11 15:42:23

阅读数:22

评论数:0

Adaboost算法原理分析和实例+代码(转载)

【尊重原创,转载请注明出处】 http://blog.csdn.net/guyuealian/article/details/70995333     本人最初了解AdaBoost算法着实是花了几天时间,才明白他的基本原理。也许是自己能力有限吧,很多资料也是看得懵懵懂懂。网上找了一下关于Adabo...

2018-09-11 09:19:05

阅读数:13

评论数:0

用初中数学题理解SVM中不等式约束、拉格朗日乘子法、kkt条件、对偶

先把kkt条件列出来:   注意上面照片中的a就相当于高等数学中的lambda  

2018-09-08 13:56:43

阅读数:55

评论数:0

拉格朗日对偶(转)

1.原始问题 假设是定义在上的连续可微函数(为什么要求连续可微呢,后面再说,这里不用多想),考虑约束最优化问题: 称为约束最优化问题的原始问题。 现在如果不考虑约束条件,原始问题就是: 因为假设其连续可微,利用高中的知识,对求导数,然后令导数为0,就可解出最优解,很easy. ...

2018-09-07 23:21:03

阅读数:17

评论数:0

SVM基本思想及入门学习(转载+自己解释为什么minL(w)变成minmaxL(a,w))

支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上...

2018-09-07 21:36:59

阅读数:23

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭