5003笔记 Statistic Chapter2-Regression and Smoothing

回归就是让每个点到回归线的距离尽可能短。
注意ε是误差值，满足norm(0,1)分布，ε会让我们的预测增加不确定性，但是会让我们预测准确度上升。防止模型过拟合。

这里老师是用Residual sum of squares来解释的最小二乘。邹博老师在机器学习里是用的最大似然函数解释的。当然还有矩阵解释以及空间图像解释。


我们的目标就是让RSS最小，所以就是求RSS导数等于0。

β1是斜率，β0是截距（线与y轴的交点到0点的距离）
下图是最小二乘求出来的最佳β1，β0. 公式记下来即可，不需要推导
cov表示协方差，var表示方差。

上面用的最小二乘是硬解法，我们也可以用梯度下降直接求解。

标准误差Standard Error

标准误差又称均方根误差


考点：
当数据量越大时，β0的standard error就会越小，截距波动就越小。
当x数据越离散，β1的standard error就越小，斜率波动就越小。

样本标准差（SD）与样本标准误差（SE）


68%是加减1个标准误差，95%是加减2个标准误差，99%是加减3个标准误差。 期末考试会有一道R语言输出题。

关于95%置信区间


Estimate表示每一个变量的预估值，Std Error是标准误差，t.value = Estimate / Std Error.
Pr(>|t|). pvalue越小越好，表示两个变量的关系越显著。’ *** ‘最显著，’ ’ 表示没关系。
BuildingArea11209.5表示：当其他变量不变时，BuildingArea提升一个单位，Price会提升11209.5. 799.8表示预测的Price上下浮动价格范围是正负799.8.

置信区间表示我们可以接受的范围。
95%的置信区间算法：








R^2 属于[0, 1] 越趋近于1，说明RSS越趋近于0.

异常值Ourlier：



引入更多的变量去预测Y值。



βp表示其他变量不变时，改变1个单位的xp，对y的平均影响是βp。

无参数方法一般倾向于描述而非形式上的推理



Local averaging：区域平均法又称moving average移动平均，KNN回归。

Constant-span左边界不能比1小，右边界不能比n大。这是xj的区间，我们将xj映射到yj。找到yj。几个邻居的yi的平均值，就是平滑的y值。k是我们定义的一个值。

size就是个数，span就是比例，0.1就是10%。bandwidth就是距离x的距离。

Regression spline：回归样线

利用微积分的思想，如果我们的区间足够小，那么合并的各个回归样线就越来越平滑。最后平滑成一条曲线。


三次样线回归曲线很平滑

Loess：局部回归法

取散点图的一块区间，然后求这个区间的一个均值。再将区间移动，再求均值。一直移动，一直求均值。最后会得到一条平滑的曲线。就是局部回归线。（和回归样线也比较像，回归样线是把区间拆小，数据不会重合；局部回归是区间移动，数据有可能覆盖。）

非参数对比平滑和线性回归对比：