多元线性回归及梯度下降

一、线性回归定义

       方法：线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（cost function最小）即可。

       线性方程应如下表示：

            因此，线性方程可以如下表示：

        因上式中，而求线性方程则演变成了求方程的参数Θ^T。

      线性回归假设特征和结果满足线性关系。其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以有前面的参数体现，而且每个特征变量可以首先映射到一个函数，然后再参与线性计算，这样就可以表达特征与结果之间的非线性关系。

二、梯度下降算法

       为了得到目标线性方程，我们只需确定上式中的Θ^T，同时为了确定所选定的的Θ^T效果好坏，通常情况下，我们使用一个损失函数(loss function)或者说是错误函数(error function)来评估h(x)函数的好坏。该错误函数如下所示。