机器学习 | 简单线性回归和最小二乘法

最近一段时间在学习机器学习算法，看了一些视频，打算整理下做成笔记，方便以后看。

线性回归：能够用一个直线比较精确地描述数据之间的关系，当出现新的数据的时候，能够预测出一个简单的值。

线性回归算法主要来解决回归问题，本身思想简单，容易实现，是许多强大的非线性墨香的基础，而且结果比较直观好解释。

目标：寻找一条直线，最大程度的“拟合”样本特征和样本输出标记之间的关系。

如图假设找到了最佳拟合直线方程：

对于每个样本点，根据直线方程，预测值为：，真值为

为了和的差距尽量小，考虑所有样本：   (求导方便）

 下一步目标：使 尽可能小。因为 ，带入式子中。

目标：找到a和b，使得尽可能小

这是一个典型的最小二乘法问题：最小化误差平方

           

最小二乘法的a、b推导过程：

其中，函数称为损失函数(loss function)。

对于大部分机器学习算法，都是通过分析问题，确定问题的损失函数。通过最优化损失函数，获得机器学习的模型。