根据网上某个大牛的说法,机器学习的三个要素分为: 模型,策略, 算法
首先,对于一个问题,我们用数学语言来描述它,然后建立一个模型,例如回归模型或者分类模型等来描述这个问题.
其次,建立求解策略,比如,通过最大似然估计,最大后验概率,最小化分类误差等等建立模型的代价函数,将其转化为一个最优化问题.
通过求解这个最优化问题,得到模型的参数。 求解最优化问题的策略有,梯度下降法等等。
最后,确定求解策略之后,便是编程实现了。
线性回归问题
首先建立模型:
模型很简单
然后是求解策略:
建立代价函数:
关于求解策略:
可以使用梯度下降法,批梯度下降法,增量梯度下降。本质上,都是偏导数,步长/最佳学习率,更新,收敛的问题。