machine learning
文章平均质量分 80
qwertyist
这个作者很懒,什么都没留下…
展开
-
判别式模型与生成式模型
判别式模型与生成式模型的区别产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于:对于输入x,类别标签y:产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x)产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行。Andrew Ng在NIPS20转载 2016-01-14 15:22:05 · 293 阅读 · 0 评论 -
关于ERM和SRM:简单的美才是真的美
本文转载自crycalblue《关于ERM和SRM:简单的美才是真的美》什么是统计学习?看起来高深莫测,其实就是在这干这么一件事情:就是给你看一堆东西,你想办法给一个解释,然后拿着这个解释去判断其它的东西。不过,和物理学不一样,在那里,解释是人想出来的,在统计学习里,解释是机器构造出来的。在许多问题里面,对象是非常复杂的,要用成百上千,甚至更多的数字去表示一个东西。当统计学家们遇到转载 2016-01-14 15:37:52 · 1545 阅读 · 0 评论 -
机器学习中的范数规则化之(一)L0、L1与L2范数
机器学习中的范数规则化之(一)L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博转载 2016-01-14 16:09:23 · 434 阅读 · 0 评论 -
偏置-方差分解(Bias-Variance Decomposition)
本文地址为:http://www.cnblogs.com/kemaswill/,作者联系方式为kemaswill@163.com,转载请注明出处。 机器学习的目标是学得一个泛化能力比较好的模型。所谓泛化能力,是指根据训练数据训练出来的模型在新的数据上的性能。这就牵扯到机器学习中两个非常重要的概念:欠拟合和过拟合。如果一个模型在训练数据上表现非常好,但是在新数据集上性能很差,就是过拟合,反转载 2016-01-14 18:12:57 · 890 阅读 · 0 评论 -
SVM(一) 问题的提出
SVM(一) 问题的提出这是我看到最好的说SVM的了,转过来,感觉内容不少是翻译国外教材的。转自:http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495537.htmlSVM是支持向量机从诞生至今才10多年,发展史虽短,但其理论研究和算法实现方面却都取得了突破性进展,有力地推动机器学习理论和技术的发展。这一切与支持向量转载 2016-01-14 21:23:29 · 653 阅读 · 0 评论 -
SVM(二)拉格朗日对偶问题
2 拉格朗日对偶(Lagrange duality)传送门:http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495689.html 先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束。通常解法是引入拉格朗日算子,转载 2016-01-14 21:54:42 · 566 阅读 · 0 评论 -
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
传送门:http://blog.csdn.net/xianlingmao/article/details/7919597在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,转载 2016-01-14 23:06:51 · 351 阅读 · 0 评论 -
SVM(三),支持向量机,线性不可分和核函数
3.1 线性不可以分传送门:http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495788.html我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。那怎么办呢,我们需要将模型进行调整,以保证在不可分的情况下,也转载 2016-01-15 12:30:45 · 481 阅读 · 0 评论 -
支持向量机(四)SMO算法
11 SMO优化算法(Sequential minimal optimization)传送门:http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.htmlSMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优转载 2016-01-15 13:00:51 · 289 阅读 · 0 评论