机器学习的最优化问题

机器学习的最优化问题

机器学习中的大多数问题都可以转化为最优化问题。
过程为：把一些经典问题，转化为最优化数学模型，然后用最优化方法求解。

机器学习和数据挖掘中，哪些属于最优化问题，见下表。

无约束的最优化问题，一般是描述得到最优化目标函数f(x)，然后求最值min/max f(x).
基本解法包括：梯度下降法、牛顿法（DFP、BFGS）

在机器学习中，将问题转化为最优化问题，对应如下：
线性回归、贝叶斯（最小二乘法）——最小误差、最小误差平方和
逻辑回归、ＨＭＭ——最大似然
决策树——信息熵增益最大、信息熵增益率最大
SVM——最大间隔最小化

注意：
关联规则，不是最优化问题。

参考文章
１、http://blog.csdn.net/poson/article/details/8050979