最优化
文章平均质量分 67
marvin521
计算机视觉机器学习朝拜者
展开
-
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却转载 2013-05-19 20:33:00 · 2673 阅读 · 0 评论 -
机器学习理论与实战(十三)概率图模型01
概率图模型是图论和概率论结合的产物,它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具,它是一个很有力的多变量而且变量关系可视化的建模工具,主要包括两个大方向:无向图模型和有向图模型。无向图模型又称马氏网络,它的应用很多,有典型的基于马尔科夫随机场的图像处理,图像分割,立体匹配等,也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x),即原创 2013-08-17 16:47:34 · 16126 阅读 · 2 评论 -
机器学习理论与实战(十五)概率图模型03
03 图模型推理算法 这节了解一下概率图模型的推理算法(Inference algorithm),也就是如何求边缘概率(marginalization probability)。推理算法分两大类,第一类是准确推理(Exactinference),第二类就是近似推理(Approximate Inference)。准确推理就是通过把分解的式子中的不相干的变量积分掉(离散的就是求原创 2013-09-01 22:55:17 · 13511 阅读 · 3 评论 -
机器学习理论与实战(十六)概率图模型04
04、概率图模型应用实例 最近一篇文章《DeformableModel Fitting by Regularized Landmark Mean-Shift》中的人脸点检测算法在速度和精度折中上达到了一个相对不错的水平,这篇技术报告就来阐述下这个算法的工作原理以及相关的铺垫算法。再说这篇文章之前,先说下传统的基于CLM(Constrained local model)人脸点检测算原创 2013-09-09 20:31:02 · 17871 阅读 · 6 评论 -
机器学习理论与实战(五)支持向量机
做机器学习的一定对支持向量机(support vector machine-SVM)颇为熟悉,因为在深度学习出现之前,SVM一直霸占着机器学习老大哥的位子。他的理论很优美,各种变种改进版本也很多,比如latent-SVM, structural-SVM等。先来看看SVM的理论,在(图一)中A图表示有两类的数据集,图B,C,D都提供了一个线性分类器来对数据进行分类?但是哪个效果好一些?原创 2013-07-09 23:05:20 · 5858 阅读 · 5 评论 -
机器学习理论与实战(六)支持向量机
上节基本完成了SVM的理论推倒,寻找最大化间隔的目标最终转换成求解拉格朗日对偶变量alpha的求解问题,求出了alpha即可求解出SVM的权重W,有了权重也就有了最大间隔距离,但是其实上节我们有个假设:就是训练集是线性可分的,这样求出的alpha在[0,infinite]。但是如果数据不是线性可分的呢?此时我们就要允许部分的样本可以越过分类器,这样优化的目标函数就可以不变,只要引入松弛变量即可,它原创 2013-07-11 23:47:18 · 5773 阅读 · 4 评论 -
机器学习理论与实战(四)逻辑回归
从这节算是开始进入“正规”的机器学习了吧,之所以“正规”因为它开始要建立代价函数(cost function),接着优化价值函数求出权重,然后测试验证。这整套的流程是机器学习必经环节。今天要学习的话题是逻辑回归,逻辑回归也是一种有监督学习方法(supervised machine learning)。逻辑回归一般用来做预测,也可以用来做分类,预测是某个类别^.^!线性回归相比大家都不陌生了,y=k原创 2013-07-07 15:36:34 · 7528 阅读 · 2 评论 -
稀疏编码(Sparse Coding)的前世今生(三)
稀疏编码(sparse coding)和低秩矩阵(low rank)的区别 上两个小结介绍了稀疏编码的生命科学解释,也给出一些稀疏编码模型的原型(比如LASSO),稀疏编码之前的探讨文章就不说了,今天开始进入机器学习领域的稀疏表达。稀疏编码进入机器学习领域后,出现了很多应用,比如计算视觉领域的图像去噪,去模糊,物体检测,目标识别和互联网领域的推荐系统(Collabora原创 2013-06-06 17:21:19 · 13225 阅读 · 4 评论 -
整型规划的凸松弛(Convex Relaxation in Integer Programming)
计算机视觉的问题很多时候最终被归结为组合优化问题,对此类问题采用组合分析的方法往往不能在多项式时间内求出最优解,因此我们需要一个好的逼近方法来求解此类问题,一个合理的方法就是通过凸松弛的方法来逼近整型规划问题。该方法的如要思想如下: 先来看下整型组合优化问题,对于(图一)中的寻找最小点(红点)问题,用求导的方法不可取,用排序的方法就是NP问题,无法在多项式时间内找到最优解。原创 2013-05-29 18:55:45 · 7373 阅读 · 6 评论 -
DaHuaLin总是站在高处:概率模型与计算机视觉
继林达华在港科大那篇读书笔记之后的第二篇指导文章,。。,几个月前就出来了,现在贴出来为后续博文做个提纲也不错。概率模型与计算机视觉林达华美国麻省理工学院(MIT)博士上世纪60年代, Marvin Minsky 在MIT让他的本科学生 Gerald Jay Sussman用一个暑假的时间完成一个有趣的Project : “link a camera to a compu转载 2013-05-13 16:35:42 · 4080 阅读 · 0 评论 -
卷积求导(卷积神经网络)
由于最后原创 2013-12-11 23:39:43 · 22275 阅读 · 1 评论