【机器学习】【线性回归】用最小二乘法求解线性回归的最优θ

注：用简单线性回归来讲解最小二乘法的应用，简单线性回归概念可看以前内容：线性回归基本概念详解

最小二乘法

    最小二乘法是一种数学优化技术。当给了特征变量后，使用最小二乘法可以方便地求出未知的输出数据集，并使得这些输出数据集和实际数据集之间的误差的平方和最小。

简单线性回归、假设函数

线性回归中的最小二乘法算法

    最小二乘法就是使得h(xi)算出的估计值y与训练用例数据集(xi, yi)中的观察值yi之间的离差平方和达到最小值时求得的(θ0，θ1)

 图解最小二乘法算法

推导θ0

推导θ1

用上面求出的（θ_0，θ_1）带入假设函数(x)，就得到线性回归的拟合度最高的假设函数：

    h(xi)=θ_0 + θ_1Xi，i=1,2,……，n

如果有一个验证训练用例(X, Y)，然后将x带入h(xi)中，求得的估计值y=h(xi)就是最接近观察值Y的数值。

以上就是用最小二乘法算法求解线性回归的最优假设函数（模型函数）的详细过程，enjoy it~

(end)