【回归算法】回归分析

1.1什么是回归问题?

• 线性:两个变量之间的关系是一次函数关系(直线)
• 非线性:两个变量之间的关系不是一次函数关系
• 回归:根据两个或者多个数据之间的关系,找到他们之间的一条线,我们把这条线叫做这些变量之间的回归线,通过这条回归线,我们便可以预测出已知变量对应的未知数值.

1.2回归分析解决什么样的问题?

寻找到数据与数据之间的规律所在，从而就可以模拟出结果,也就是对结果进行预测。解决的就是通过已知的数据得到未知的结果。例如：对房价的预测、判断信用评价、电影票房预估等。

1.3表达式推演

1.3.1梯度下降法

主要思想:通过选择未知参数,使得预测值和真实值之间的误差尽可能的最小.

这里的yi=w*x+b,因此也可以写成这样:

矩阵形式:

我们的线性回归还可以使用最小二乘法,线性回归时一种特殊的情况,因此有专门的公式

1.3.2数学基础

• 满秩矩阵:分为行满秩和列满秩,行满秩就是行向量之间线性无关,列满秩就是列向量之间线性无关,如果该矩阵既是行满秩又是列满秩那就称为方阵.
• 奇异矩阵:矩阵必须是方阵并且不是满秩矩阵.非奇异矩阵是可逆矩阵的充要条件(非奇异矩阵就是满秩矩阵,满秩矩阵一定可逆)
• 矩阵求逆:如果要求一个矩阵的逆矩阵,首先要判断该矩阵是不是可逆矩阵(满秩矩阵):AA-¹=A-¹A=E（单位矩阵)
• 逆矩阵的作用:逆矩阵就相当于是倒数,矩阵与逆矩阵相乘等于单位阵,引入逆矩阵是为了实现矩阵的除法.任何矩阵乘以单位阵都是自己本身.

1.3.3推演过程

该公式和上面的公式一样,事不过为了消除求导后的系数,我们添加了1/2m,因为常量是不会影响我们的结果的.对我们的J进行求导之后即可得到变化效率.

1.4过拟合和欠拟合原因和解决

1.4.1过拟合

1.为什么会出现过拟合?

对数据的特征学习的太完全了.过拟合会使得模型的鲁棒性降低,过拟合表现为模型在训练集上效果非常好,但是在测试集上效果却很差.

2.什么情况下出现过拟合?

• 样本数量太少了
• 样本中的噪音数量干扰过大
• 参数太多,模型的复杂度高;
• 如果是决策树模型的话,我们可以对其进行剪枝操作
• 神经网络中的过拟合

 

3.如何解决过拟合?

 

1.4.2欠拟合

 

1.4.3什么是L1正则化(Lasso回归)及其使用场景.

1.4.4什么是L2正则化(Ridge回归)及其使用场景

1.4.5什么是ElasticNet(弹性网络)回归及其使用场景

 

1.5为什么线性回归要求因变量服从正太分布?

 

1.6使用sklearn实现