线性回归笔记

1 单元线性回归

一个因素x一个实验结果y之间的关系。在实际中想要测得两者的关联，比如打篮球身高和每场篮板数量的关系。

很明显身高x是确定的，但是篮板数量确是随机的。不同的人即使身高相同每年比赛的平均篮板也不一样。我们只是

认为y是一个随机变量，会随着x的不同y均值会变化。

因此这个问题就简化成x的变化与y的均值变化的关系。设y的均值是u，那么u（x）就是待求函数。

u（x）有时是线性的，有时是非线性的，那么在线性的时候，他的公式必然是u（x）=ax+b。

因此我们的测量数据集是x和y的数据对，用最小均方的代价函数来表示就变成

Q=累加(y-u(x))^2

然后Q取最小值时得到的a和b即是待求参数。

————————————————————————————————————————————————

2 多元线性回归

假设此时的y和x1、x2有线性关系，那么此时的函数就变成了u(x1,x2)=ax1+bx2+c

接下来的步骤和上面一样。

————————————————————————————————————————————————

3 线性回归的进一步介绍

为什么叫回归？

有多个随机变量，最有兴趣的就是y，其它的就是X（x1，x2，。。。，xn）。y称为依赖变量或响应（response）；X称为独立变量或回归量（regressor），这样的模型称为回归模型。

最简单的线性回归模型求解其参数W（w1，w2，。。。wn）最简单的有两种，一种是概率模型，一种是最小二乘模型。

最后都是得到代价函数公式，得到公式后就是得到一个多输入单输出的函数，输出是总的误差，以W为变量找到这个函数的最小值点，就是目标值。

另外一提的就是对W的先验知识，或说是正则化项。

我觉得正则化可以这么解释：假设一个人之前对某一件事有某种看法，比如这个世界上没有坏人，坚信这种看法，然后他的行为就会导致他相信任何人，相信一个骗子以后肯定被骗，被骗的很惨以后就受到刺激，受到刺激就性情大变，以后可能就认为这个世界上都是坏人。

但是假如说你一开始就认为这世界上都是坏人，那么你被骗也不会受到刺激，因为你认为世界就是这样的。

那么我们设置网络有一个保守的估计，就是我们活在世界上肯定要接触各种事，那么假如你遇到一个坏事就认为世界上没好人肯定不对，你遇到好事就说世界上没坏人肯定也不对。所以我们就给你思想一个拉力，我们不会因为某一件事轻易的对世界的性质下结论。这就是正则化。

在最大后验估计里就设置W的分布是高斯分布，他的期望值是0，是中性的，直接导致的后果就是我的先验知识认为X的各元素是与y无关系的。

————————————————————————————————————————————————————