机器学习读书笔记之1 - 最小二乘法

        最小二乘法 是指 根据测量数据，得到这组数据规律的公式表示，其原则是 误差的平方和最小。“二乘” 即为平方，最小二乘拟合是机器学习最简单也是最实用的方法之一。

        最小二乘法是用于 模型逼近 和 曲线拟合 的常用手段。

        

        上图表示根据一组数据 拟合直线的情况，最小二乘 一定程度上得到和数据最逼近的解。

        用公式来表示：

        

        根据上面的公式，针对直线方程 y = a0 x+a1，代入计算二次误差，分别对参数求偏导，能够得到：

        

        将样本值（X,Y）代入即求得直线方程参数 (a0,a1) 的解。

        最小二乘法 的几何意义是 高维空间中的一个向量在低维子空间的投影。

        最小二乘法的代码：

/*
 最小二乘法C++实现
 参数1为输入文件
 输入 ： x
 输出： 预测的y