线性回归

线性回归 http://blog.51cto.com/12133258/2051527

线性回归(Linear Regression)基本形式一般用向量形式表示：f(x)=wTx+b f(x)=w^Tx+bf(x)=wTx+b，

其中w=(w1;w2;...;wd) w=(w1;w2;...;w_d)w=(w1;w2;...;wd),w ww和b学得之后，模型就得以确定。
回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。

 

1. 利用矩阵的知识对线性公式进行整合

y=wTx+b   机器学习中基本上都是用矩阵的方式来表示参数的，也就是说我们需要把这个多项求和的式子用矩阵的方式表达出来，这样才方便后续的计算。

2. 误差项的分析

还有一个参数b。也就是我们说的偏移量，或者叫做误差项.误差独立并且具有相同的分布，服从均值为零的高斯分布。

3. 似然函数的理解

 这里就引入了似然函数的作用。似然函数的作用就是要根据样本来求什么样的参数和特征的组成能够最接近真实值。越接近真实值则误差越小。 似然函数推理出的结果就是最小二乘法，似然函数就是求能让真实值和预测值相等的那个参数的。

4. 矩阵求偏导

矩阵求偏导得到的结果就得出最小二乘法的公式

5. 线性回归的最终求解

如何调整θ以使得J(θ)取得最小值有很多方法，其中有最小二乘法(min square)，是一种完全是数学描述的方法，和梯度下降法。

梯度下降算法：针对于没有标准答案的线性回归问题。

求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法

梯度：对于可微的数量场

  ，以 为分量的向量场称为f的梯度或斜量。 [1] 

梯度下降法(gradient descent)是一个最优化算法，常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。