数据科学导引欧高炎重点知识二

1.说明

从3开始编号的原因是与书本一致。

上一篇数据预处理
下述所有的计算过程复杂程度不是人可以接受的，所以只需要懂得理论，知道方法，记得步骤即可。计算交给计算机。

3.回归模型

3.1线性回归

运用线性回归的假设

• 输入特征非随机且互不相关
• 随机误差具有零均值、同方差的特点，且彼此不想关
• 输入特征与随机误差不相关
• 随机误差服从正太分布

假设好像有点多哈，但是条条必要。

一元线性回归

一个已有特征x，一个预测特征y，模型为$$y=w_{1}x+w_0$$
$w_1$和$w_0$为参数，目的是使样本在一条直线附近

比较简单，求解一下最优化问题
（这个也叫残差平方和）
$$\underset{w_1,w_0}{\min }\sum _{i=1}^n(y_i-w_1{x}_i-w_0{)}^2$$

只需要对$w_1$和$w_0$分别求导令为零，解方程组即可。就得到了最优参数的形式，这种方法叫最小二乘法。

多元线性回归

同理，假设d维（一元是一维），模型为$$y=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+w0$$
向量写法$$\text{y}={\text{W}}^T\text{x}$$此时的最优化问题，也就是残差平方和为
$$||\text{y}-\text{Xw}|{|}_2^2$$

一通计算猛如虎（向量、矩阵的计算具体可以参考这里）
就得到了最优参数的形式，也就是正规方程解

当特征数大于样本量的时候（矩阵的列d>行n），正规方程解容易产生过拟合问题。

解决方法：正则化和特征选择

过拟合与欠拟合

过度拟合：训练误差很小，泛化误差很大
非专业术语解释：参数得到的模型拟合数据拟合的很好，而不能用来预测数据。

欠拟合：训练误差很大，泛化误差很大
非专业术语解释：参数得到的模型拟合数据拟合的不够，所以预测数据也不够好。

过度拟合是把已有数据本身得一些独有特点也“学习”进来了，所以在预测数据的时候，把这些特点当成了预测数据会有的特点。

3.2线性回归正则化

什么是正则化？
在模型中添加一些惩罚项或约束条件来控制模型的复杂度，解决过拟合问题。

包括岭回归和LASSO

LASSO怎么翻译？书上没说我也不知道。

岭回归

岭回归在模型中添加怎么样的约束条件呢？
这样：

$$s.t.||w|{|}_2\le C$$所以我们只要求解下面的最优化问题
$$\underset{\text{w}}{\min }||\text{y}-\text{Xw}|{|}_2^2$$