Task2-P3-4：Regression

标记提示

$x_b^a$中，a：x的编号，b：x的部分/特征/属性
$\widehat{y_b^a}$表示y的真实值，a、b同上

Steps

模型：线性模型

一元：$y=wx+b$
多元：$y=w\sum x^i+b$
改变$w$和$b$以获得方法集

模型评估：损失函数

y的预测值和真实值的方差
$L(w,b)={\sum }_{i=1}^m[\widehat{y^i}-(x^i+b){]}^2$

最佳方法

找到损失函数最小时对应的$w^{\ast }$和$b^{\ast }$，则$y^{\ast }=w^{\ast }x+b^{\ast }$即为所求。

梯度下降

$L$可微时，找到参数使$minL$
计算$\frac{\partial L}{\partial w^0}$，$\frac{\partial L}{\partial b^0}$
$$\Downarrow$$
$w^1\leftarrow w^0-\eta \frac{\partial L}{\partial w}|w=w^0,b=b^0$
$b^1\leftarrow b^0-\eta \frac{\partial L}{\partial b}|w=w^0,b=b^0$
$$\Downarrow$$
$$⋮$$
$$\Downarrow$$
$w^{i+1}\leftarrow w^i-\eta \frac{\partial L}{\partial w}|w=w^i,b=b^i$
$b^{i+1}\leftarrow b^i-\eta \frac{\partial L}{\partial b}|w=w^i,b=b^i$
直到两个偏导数为0 --> 达到局部最小
$\star$若是线性回归，由于其损失函数为凸函数，所以只有全局最小，不存在局部最小。

过拟合

更复杂/更高次数的模型不一定是更好的模型，模型可能会包含过多Traning Data中细枝末节（不那么重要）的特征，可能导致预测的错误率变高，所以应该选择最适合的模型。

引入多变量

$y={\sum }_{i=1}^m\delta (x_s=x_s^i)[b_i+w_{i}x]$
这样有多少个$x_s$就会有多少条直线，即不同类别用不同直线来拟合。

正则化Regularization

$L(w,b,\lambda )={\sum }_n[\widehat{y^n}-(b+\sum w_i{x}_i){]}^2+\lambda \sum (w_i{)}^2$

• 调参：找到最合适的$\lambda$，并不是越大越好；
• 引入后一项是为了使函数图像更平滑，以使结果对x中的噪音更不敏感；
• 因为b趋于0所以对平滑程度没有影响。

用梯度下降算法实现线性回归程序演示

numpy函数补充

numpy.meshgrid()生成网格点坐标矩阵
numpy.dot(A,B)A，B的内积或者矩阵乘积

用梯度下降算法实现线性回归流程图