love模式识别

之前的博客介绍过自己对于正则化的理解

上学的时候，就一直很好奇，模式识别理论中，常提到的正则化到底

上一篇博客，我介绍了《拉普拉斯平滑及其在正则化方向上的应用》，但是事后读一读，发现拉普拉斯惩罚这部分，自己说的太快了，想说的东西没有全部并有条理的说出来，于是决定再写写这块的东西，有什么错误，希望大家不吝批评指正，感激万分！

在上一篇博客中，自己介绍了Levenberg_Marquardt的算法流程，特点以及在非线性最小二乘问题上的应用，信赖域算法也是自己曾经研究过的算法，并且在姿态估计上进行了应用，比较下来，得到的精度和Levenberg_Marquardt算法不相上下，但是收敛速度却不如LM。本文介绍一下自己对信赖域算法的理解，与童鞋们分享一下。

最小二乘问题，是最基本、最实用、最应用广泛的的数学模型，在机器学习中更是得到了极大的应用（公式1），比如说我们的PCA，最经典的解释就是：最小化样本与其重构样本之间的误差和。采用的公式我不用写出来大家都会明白，二者先取个差值，在来个平方，最后搞一个和号上去，这就是最小二乘问题的思想。该数学模型的目的十分直观，就是想要计算出一组参数，这组参数可以让计算出来的数据与观测数据最为接近。 进一步，最小二乘又可以分为线性和非线性两种，分别对应fi(x)的线性形式与非线性形式，线性最小二乘很好求解，可以将公式（1）变换

EM算法(Expection Maximuzation)的中文名称叫做期望最大化，我的理解EM算法就是一种引入隐含变量的坐标向上法，它与其他优化方法的目的相同，就是求解一个数学模型的最优参数，不同之处在于EM算法交互迭代的对象是隐含变量与模型参数，一般隐含变量表现为数据的类别。期望说白了就是数据的权重平均，在EM算法中，可以理解为数据的类别，那么既然确定好了数据的类别，下一步就是想办法求取新数据构成分布的参数，一般采用最大似然法求取最优参数。剩下的就是最普通的迭代过程，先初始化参数，计算数据的概率分布，再对