![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
最优化
王嗣钧
不积跬步,无以至千里;不积小流,无以成江海
展开
-
转载BP算法介绍好文
转载介绍置信度传播BP算法好文章,文章沿着经典文献《Efficient Belief Propagation for Early Vision》的脉络对BP算法在图像分割领域的应用过程进行介绍,很给力!!转载 2015-09-07 17:15:13 · 2468 阅读 · 0 评论 -
再谈拉普拉斯惩罚~
上一篇博客,我介绍了《拉普拉斯平滑及其在正则化方向上的应用》,但是事后读一读,发现拉普拉斯惩罚这部分,自己说的太快了,想说的东西没有全部并有条理的说出来,于是决定再写写这块的东西,有什么错误,希望大家不吝批评指正,感激万分!原创 2014-10-22 16:41:07 · 6662 阅读 · 1 评论 -
聊聊EM算法~
EM算法(Expection Maximuzation)的中文名称叫做期望最大化,我的理解EM算法就是一种引入隐含变量的坐标向上法,它与其他优化方法的目的相同,就是求解一个数学模型的最优参数,不同之处在于EM算法交互迭代的对象是隐含变量与模型参数,一般隐含变量表现为数据的类别。期望说白了就是数据的权重平均,在EM算法中,可以理解为数据的类别,那么既然确定好了数据的类别,下一步就是想办法求取新数据构成分布的参数,一般采用最大似然法求取最优参数。剩下的就是最普通的迭代过程,先初始化参数,计算数据的概率分布,再对原创 2015-07-07 17:58:46 · 2914 阅读 · 1 评论 -
利用信赖域算法求解无约束的非线性最小二乘问题~
在上一篇博客中,自己介绍了Levenberg_Marquardt的算法流程,特点以及在非线性最小二乘问题上的应用,信赖域算法也是自己曾经研究过的算法,并且在姿态估计上进行了应用,比较下来,得到的精度和Levenberg_Marquardt算法不相上下,但是收敛速度却不如LM。本文介绍一下自己对信赖域算法的理解,与童鞋们分享一下。原创 2014-11-06 21:59:02 · 8528 阅读 · 3 评论 -
最好的EM算法介绍-由例子介绍原理
从最大似然到EM算法浅解zouxy09@qq.comhttp://blog.csdn.net/zouxy09 机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什转载 2014-09-26 10:21:06 · 10944 阅读 · 8 评论 -
Stereo Matching文献笔记之(六):浅谈置信度传播算法(Belief-Propagation)在立体匹配中的应用~
这是我一个纠结过的问题,曾经反反复复的看相关的知识,Belief-Propagation是一个伴随着“马尔科夫随机场”提出的优化算法,我对优化算法情有独钟,一直觉得搞定了各种优化,机器学习剩下的也就是知识扩展而已,嘿嘿,我也不知道这么想是对是错,最近脑袋糊涂的厉害,请各位见谅。。。。原创 2015-09-13 23:16:28 · 14348 阅读 · 14 评论 -
利用Levenberg_Marquardt算法求解无约束的非线性最小二乘问题~
早就想写这篇文章,但是一直没抽出空,主要是画图比较麻烦,嘿嘿~ 现在介绍如何利用经典的Levenberg_Marquardt算法求解无约束的非线性最小二乘问题。Levenberg_Marquardt算法是以两位数学家命名的搜索算法,它比较于常见的最速下降(又被称作梯度下降),牛顿法等,具有较好的全局收敛性,所以得到了较多的重视与应用。原创 2014-11-05 17:19:28 · 12439 阅读 · 11 评论 -
谈谈自己对正则化的一些理解~
上学的时候,就一直很好奇,模式识别理论中,常提到的正则化到底原创 2014-09-25 12:12:05 · 43760 阅读 · 19 评论 -
谈谈自己对线性最小二乘和非线性最小二乘之间关系的理解~
最小二乘问题,是最基本、最实用、最应用广泛的的数学模型,在机器学习中更是得到了极大的应用(公式1),比如说我们的PCA,最经典的解释就是:最小化样本与其重构样本之间的误差和。采用的公式我不用写出来大家都会明白,二者先取个差值,在来个平方,最后搞一个和号上去,这就是最小二乘问题的思想。该数学模型的目的十分直观,就是想要计算出一组参数,这组参数可以让计算出来的数据与观测数据最为接近。 进一步,最小二乘又可以分为线性和非线性两种,分别对应fi(x)的线性形式与非线性形式,线性最小二乘很好求解,可以将公式(1)变换原创 2014-11-27 23:37:39 · 20973 阅读 · 11 评论