机器学习两个重要的过程：学习得到模型和利用模型进行预测。
下面主要总结对比下这两个过程中用到的一些方法。
一，求解无约束的目标优化问题
这类问题往往出现在求解模型，即参数学习的阶段。
我们已经得到了模型的表达式，不过其中包含了一些未知参数。
我们需要求解参数，使模型在某种性质（目标函数）上最大或最小。
最大似然估计：
最大似然估计、梯度下降、EM算法、坐标上升
本文介绍了机器学习中求解无约束优化问题的几种方法，包括最大似然估计、梯度下降、EM算法和坐标上升。最大似然估计通过求导找到最优参数；梯度下降利用导数信息迭代更新参数；EM算法适用于有隐变量的情况，通过迭代优化目标函数；坐标上升则是在某一参数固定条件下优化其他参数。同时，文章还提及了EM算法在k-means和高斯混合模型中的应用及其收敛性证明。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
