100-Days-Of-ML threeday（多元线性回归、特征选择）

第三天学习的是多元线性回归

一、前提（想要有一个成功的回归分析，确认这些值很重要）：

1、线型：自变量和因变量的关系应该是线性的，也就是说特征值和预测值是线性相关的
2、保持误差项的方差齐性(常数方差)： 也就是误差项的分散（方差）必须相等
3、多元正态分布： 多元回归假定残差符合正态分布
4、缺少多重共线性： 假设数据有极少甚至没有多重共线性。当特征（或自变量不是相互独立的时，会引发多重共线性）

二、虚（拟）变量：

在多元回归模型中，当遇到数据集是非数据类型时使用分类数据是一个非常有效的方法。分类数据值反映（事物）类别的数据，是离散数据，其数值个数（分类属性）有限（但可能很多），且值之间无须。
比如：按性别分为男女两类，在一个回归模型中，这些分类值可以用序变量来表示

三、注意：过多的变量可能会降低模型的精确度，尤其是如果存在一些对结果无关的变量、或者相反存在对其他变量造成很大影响的变量时。这里介绍一些选择合适变量的方法

1、向前选择法
2、向后选择法（也称向后剔除法、向后消元法）ji
3、向前向后法：即结合了上面说的向前选择法和向后选择法，先用向前法筛选变量，再用向后法筛选变量，当无论怎么筛选都不会发生变化时结束

四、虚拟变量陷阱：

指的是两个或两个以上变量之间高度相关的情形。简而言之，就是存在一个能被其他变量预测出的变量。例如：我们舍弃男性类别，使用女性类别女性值为0 男性为1

五、相比较一元线性回归，主要区别是多一步处理虚拟变量陷阱的区别