Regression 回归

李宏毅老师机器学习课程笔记——Regression 回归

一、理论
问题：已知一批宝可梦样本进化前的特征值x_cp, x_s, x_np, x_w, x_n，预测宝可梦升级后的CP值。模型的目标就是找到一个最合适的函数F(X)=Y：

特征条件X包括{x_cp, x_s, x_np, x_w, x_n}。
首先只考虑一个特征x_cp，寻找宝可梦升级前的CP值与升级后的CP值之间存在的函数关系。
1、step1：model 模型

2、step2：goodness of function 寻找最优表达式

上图直线为某个function，要评估这个function的好坏，需要一个评估标准，即损失函数。
-Loss function L：损失函数

放在实例中，假设取了10个宝可梦训练集，损失函数的表达式为：

y ̂为真实结果集，b+wx_cp函数预测结果集，计算真实结果集与预测结果集的平方差，表示模型的误差，模型目的是使误差尽可能小，找到误差最小的最优function，使得损失函数最小：

3、step3：gredient descent 梯度下降

求解最小损失函数利用梯度下降法：

-how about two parameters 两个参数求梯度下降

(1) 随机抽取两个参数值

(2) 对损失函数分别求w,b的偏导：


(3) 继续求w^1,b1位置上的偏导：


持续求偏导一直到斜率为0，找到全局最优的位置，梯度下降结束，求得最优w,b。
梯度公式可以写为：

二、计算

利用实际数据，10个宝可梦的样本数据计算：

求偏导：

模型除了一元一次函数，还进一步寻找更多模型 selection another model：

再进一步：

当模型过于复杂，出现过拟合问题，过拟合指的是模型在训练集上表现优异，但在实际测试集中却表现很差，是因为模型训练过于拟合训练数据，忽略真实分布。

-过拟合的解决方法：Regularization 正则化

首先，多元线性回归表达式：

在正则化后，表达式为：

其中，λ的意义就是参数和越小越好，也就能使得函数的曲线更加平滑。
-why smooth functions are preferred 为什么平滑曲线更好？

当出现噪声时，平滑的曲线函数能够使得噪声更小得影响结果。

三、bias and variance of estimator偏差与方差估计

-Assume the mean of x is μ 平均值
-Assume the variance of x is σ^2 方差

有一组样本{x^1,x2,……,x^n}，样本的平均值不等于总体的平均值：

样本的方差不等于总体的方差:

但是样本平均值m的期望等于总体平均值：

根据中心极限定理：

-误差 error:

一组样本函数function的期望就等于E[f^* ]=f ̅，方差表示函数function到期望函数的距离，偏差表示实际函数function到样本期望函数function的距离。

-方差 variance

简单模型有小方差，复杂模型有大方差。

-偏差 bias

简单模型有大偏差，复杂模型有小偏差。简单模型的模型范围小，不一定能包含到真实模型；而复杂模型的模型范围大，更有可能包含到真实模型，所以复杂模型的准确率更高。

-误差是由偏差和方差构成的：

当模型过于简单，偏差大而方差小时，就会出现欠拟合现象，需要增加参数个数继续训练模型；当模型过于复杂，偏差小而方差大时，就会出现过拟合现象，需要减少参数个数，平滑函数曲线，寻找到最优函数。

-你的模型是bias大还是variance大？
-如果是方差大（复杂模型过拟合），解决方法：
（1）增加样本数据
（2）正则化（平滑曲线）