最优化
最优化理论是机器学习的一个重要组成部份,如何对目标函数进行求解是机器学习的核心问题。本专栏中的文献包含有自己对当前相对基础的最优化方法的一些理解,希望能够对大家所有帮助。
王嗣钧
不积跬步,无以至千里;不积小流,无以成江海
展开
-
神奇的拉普拉斯平滑(Laplacian Smoothing)及其在正则化上的应用~
之前的博客介绍过自己对于正则化的理解原创 2014-10-20 17:05:21 · 48100 阅读 · 3 评论 -
谈谈自己对正则化的一些理解~
上学的时候,就一直很好奇,模式识别理论中,常提到的正则化到底原创 2014-09-25 12:12:05 · 43835 阅读 · 19 评论 -
再谈拉普拉斯惩罚~
上一篇博客,我介绍了《拉普拉斯平滑及其在正则化方向上的应用》,但是事后读一读,发现拉普拉斯惩罚这部分,自己说的太快了,想说的东西没有全部并有条理的说出来,于是决定再写写这块的东西,有什么错误,希望大家不吝批评指正,感激万分!原创 2014-10-22 16:41:07 · 6715 阅读 · 1 评论 -
利用信赖域算法求解无约束的非线性最小二乘问题~
在上一篇博客中,自己介绍了Levenberg_Marquardt的算法流程,特点以及在非线性最小二乘问题上的应用,信赖域算法也是自己曾经研究过的算法,并且在姿态估计上进行了应用,比较下来,得到的精度和Levenberg_Marquardt算法不相上下,但是收敛速度却不如LM。本文介绍一下自己对信赖域算法的理解,与童鞋们分享一下。原创 2014-11-06 21:59:02 · 8721 阅读 · 3 评论 -
谈谈自己对线性最小二乘和非线性最小二乘之间关系的理解~
最小二乘问题,是最基本、最实用、最应用广泛的的数学模型,在机器学习中更是得到了极大的应用(公式1),比如说我们的PCA,最经典的解释就是:最小化样本与其重构样本之间的误差和。采用的公式我不用写出来大家都会明白,二者先取个差值,在来个平方,最后搞一个和号上去,这就是最小二乘问题的思想。该数学模型的目的十分直观,就是想要计算出一组参数,这组参数可以让计算出来的数据与观测数据最为接近。 进一步,最小二乘又可以分为线性和非线性两种,分别对应fi(x)的线性形式与非线性形式,线性最小二乘很好求解,可以将公式(1)变换原创 2014-11-27 23:37:39 · 21154 阅读 · 11 评论 -
聊聊EM算法~
EM算法(Expection Maximuzation)的中文名称叫做期望最大化,我的理解EM算法就是一种引入隐含变量的坐标向上法,它与其他优化方法的目的相同,就是求解一个数学模型的最优参数,不同之处在于EM算法交互迭代的对象是隐含变量与模型参数,一般隐含变量表现为数据的类别。期望说白了就是数据的权重平均,在EM算法中,可以理解为数据的类别,那么既然确定好了数据的类别,下一步就是想办法求取新数据构成分布的参数,一般采用最大似然法求取最优参数。剩下的就是最普通的迭代过程,先初始化参数,计算数据的概率分布,再对原创 2015-07-07 17:58:46 · 2976 阅读 · 1 评论