机器学习--线性回归

线性回归属于回归问题，将线性回归大体分为以下几个类别：

• 一元线性回归：

          y=wx+b

•  多元线性回归

           y=w(0)+w(1)x(1)+w(2)x(2)

• 带正则项的线性回归

         

• 带核函数的线性回归：

          

回归模型：

          

学习模型（训练）：已知数据(x,y)学习模型f

使用模型（预测）：已知数据的输入x,带入f求得y

模型介绍：

如果输出为连续型变量就是回归

案例介绍：根基身高预测体重。

回归和分类有什么区别呢？

   不管模型有多复杂，输入是连续还是离散变量只要输出为连续型变量就是回归，而分类输出的是离散型变量。

线性回归有哪些形式呢？

这里的W^T代表W的转至。

模型的参数需要为一次形式，则为线性，输入可以为高次，否则就不是线性回归。

一元线性回归：

那么如果没有解，该怎么解决呢？

------------------------------------------------------------------------------------------------------------

既然无解，我们需要妥协一下，拟合的直线离所有点误差最小。

此时把原来的解方程组的问题转化为一个目标函数优化问题：

 目标函数：

那么如何求一个函数的最小值呢？

如果一个函数为凸函数，那么函数的极小值就是唯一最小值。

解析解法：对函数求导取零。

数值解法：根据梯度下降方法迭代，直到导数为零。

那么如何根据对一元线性回归的结果进行评估呢？

多元线性回归：

刚才我们看到的问题，输入只是单一的特征，但这种简单的特征无法反应数据的分布，所以需要更加丰富的特征。

例如： {身高，性别}预测体重

 当数据输入为多个特征，此时为多元线性回归。 

多元线性回归实例：

时间序列：

自回归案例：

 、

代码后续会上传到github上面。。。