线性回归（内有最小二乘法）->NODE

ROOT传送门

关键字：最小二乘法，多重共线性现象

一、线性回归

1.1 定义 

    所谓回归，就是确定自变量和因变量之间的对应关系，线性回归对于给定的X和Y，把焦点放在给定的x对应的y的概率分布，而不是x和y的联合概率分布。所以线性回归关注的是y。

一个比较特殊的线性回归模型：逻辑模型（Logistic Regression）这是一个用于分类的线性回归模型

1.2、优点

      线性回归模型比非线性回归模型更容易拟合，并且产生的估计的统计特征也非常稳定。所以线性回归应该优先考虑。

1.3 用途

3.1、预测

3.2、相关性分析

      给出一个y和一些变量X1,X2,…,XP，这些变量和y可能不相关，也可能相关，可以用线性回归模型量化y与Xi的相关强度。

（突然间想起信息熵，那个也与相关强度有关）

二、一元线性回归

2.1 模型

形如,x,Y都是可观察到的值，但是代表不确定性因素，为随机变量。这里需要对未知的估计。常用的估计方法：最小二乘法。

2.2 最小二乘法-用于估计参数

 

4.线性回归与最小二乘法

      线性回归经常用最小二乘法拟合，二者很逼近，但是不可以画等号。

5.最小平方误差

      要求误差的平方和最小，作为理想的线性方程的准则。

下面是线性回归里的第一个应用：预测

1线性回归模型

    最简单的模型，就是模型是参数的线性组合。较为复杂的模型就是使用输入变量x的基函数f(x)的线性组合来构造模型。注意这里的简单的模型的基函数是输入变量x的各个分量，而较为复杂的模型的基函数是输入变量x的各个分量的组合，不一定是线性组合，可能选择其中的部分分量组成f(x)，也可能只选一个。

较为复杂的模型可以看成参数的线性组合，可以看成各个分量的非线性组合。

2.与GPR

    就是预测条件分布p(t|x)，该分布可以反映对于一个t，基于这个条件概率分布对输入x估计其对应的t的过程，就是最小化损失函数（loss function）的期望的过程。还是一个最小化误差的平方和的过程，有没有很像最初的说说高斯过程回归？但是那个高斯过程回归没有考虑最小化误差的平方，只有正则化，而且是假设他们服从多变量高斯分布的。突然间想起贝叶斯线性回归预测p(seta|x)的，它是估计参数的。

3.最小二乘法

    最小二乘法还可以拟合非线性模型，最小二乘法就是最小化误差的平方和来寻找最优的函数。最小二乘法的matlab实现：ployfit(x,y)为线性拟合，ployfit(x,y,n)为n次多项式拟合，他们本质上都是通过最小化误差的平方和得到最理想的函数。

    目的问题或者损失函数定义为：

    

    可以与数值线性代数的最小二乘法联系起来：

    数值线性代数里，求解Ax=b，如果这里的A的行大于列，采用普通最小二乘法，使得残量最小，如果残量用二范数表示，即误差的平方和最小，化简后就是一个超定方程组。要求解x，即，最终结果为，该推导方法就是基于最小二乘法的思想的。

    但是线性回归我们要求的不是X而是系数。即，这里的是基函数，式子展开如下：

也可以上述的方法求解,此时就是，问题在于如果中有线性相关或者近线性相关的类，那么就会变成一个奇异（病态）矩阵，导致最小二乘法对观测数据非常敏感，使得最后的线性模型产生极大误差，在这个现象叫做“多重共线性”现象，使得求出来的让y对x的噪声非常敏感。这个问题怎么解决呢？参见《Ridge Rggression》

4.这是较为复杂的线性回归模型

      线性回归模型是一组输入变量x的非线性基函数的线性组合

    

    关于基函数，由于原始数据不能直接应用到机器学习算法里去。所以必须选择原始数据的合适的特征，这些特征就是

 

5.基函数 的选择

 

多项式曲线拟合

 

高斯基函数

6.迭代方法

6.1 梯度下降法

      运用所有数据，对损失函数求导，迭代

6.2 随机梯度下降法

 

    不像梯度下降法一样，每次使用全部数据，而是一个个的把数据加进来

参考本书198页，后面的还没有看

参考：https://blog.csdn.net/daunxx/article/details/51556677