问题1:线性回归解决的问题是什么?
对于简单的数据样本,我们可以生成线性的拟合函数,对未知数据进行预测。
问题2:线性回归的形式是怎么样?
F(x) = x1*w1+x2*w2+x3*w3...+xn*wn+b,其中x=(x1,x2...xn),xi是x在第i个属性上的取值,w、b是学习之后得到的参数。
问题3:如何确定w和b?
为了确定系数w和b,我们先引入误差RSS的概念,f(x)=wx+b得到的预测值,y为实际值。那么平方误差值RSS的大小为:(y-f(x))^2,我们的目的是要是的误差最小(相当于最小二乘法)。
为了得到目标函数的最小值,所以我们又得引进梯度下降的方法来寻找RSS的最小值。我们可以知道对一个函数求导,则求导得到的方向为函数在该点的梯度方向,也就是增长速度最快的方向。我们只需要取梯度方向的相反值,就可以得到下降速度最快的方向,使得函数最快到达最低点。
推导过程如下图
我们就可以得到w和b的取值。
问题4:多元线性回归的推导?
一般情况下我们都是由d个属性来描述样本,则利用最小二乘法进行w、b估计的推导过程为下图所示。
问题5:广义线性模型?
线性模型虽然简单,但是还是有着丰富的变化。我们为了让预测值跟实际值更加接近,往往会加入一个单调可微函数,称为联系函数。
如二分类情况,y只有取值{0,1},引入sigmoid函数。
问题6:如何多元线性回归中广义逆不可逆?
实际问题中,xTx往往不是满秩,这使得我们在求解多元线性解w的时候得不到答案,因此我们可以引入正则化。
问题7:正则化的目的?
正则化的主要目的是为了为了防止数据的过拟合。根据“奥卡姆剃刀”法则,我们往往选择较简单的模型,有着更好的后验概率。实际生活中我们可能会遇到大量的变量,其数目甚至可能会超过例数,就是这时候我们把一些无关的属性去除,也使得广义逆可逆。通过对广义逆的变化(xTx + kI),使得方程可解。
问题8:正则化的类型?
我们可以知道,在加入正则化之后,约束函数变成了如上图所示,其中q的取值代表着不同的正则化类型。q的值不同会对结果有不同的影响。
我们较为熟悉的是q=1和q=2的情形,q=1的时候我们称其为Lasso,q=2的时候称为岭回归。两者之间的不同我们可以由下图所示:
假设我们现在是两维函数w1和w2,我们可以将其映射到二维平面上,当我们的目标函数不断变化的时候,总会有一个时间点,使得目标函数和q的约束函数相切,岭回归为半径t的圆,所以相切点一般不在坐标轴上,会得到两个不为0的w1和w2。Lasso因为约束条件q=1,所以我们可以看到两个平面相切点很大可能会落到坐标轴上,这使得其中一维为0,更好达到降维的效果。