李宏毅机器学习02Regression

李宏毅机器学习02 Regression：case study

case：预测宝可梦CP值

目标

找一个function
input：一只宝可梦
output：进化后的CP值

参数

$X$： 表示一只宝可梦，用下标表示该宝可梦的某种属性

$X_{cp}$​：表示该宝可梦进化前的cp值

$X_s$： 表示该宝可梦是属于哪一种物种，比如妙瓜种子、皮卡丘…

$X_{hp}$ ：表示该宝可梦的生命值

$X_w$ ： 代表该宝可梦的重重量

$X_h$ ： 代表该宝可梦的高度

$f()$ ： 表示我们要找的function

$y$： 表示function的output，即宝可梦进化后的cp值，是一个scalar

总体步骤

1.选择模型，即一系列函数f
2.定义loss function来评价函数f的好坏
3.找到最好的function

模型

linear model: w–weight b–bias

training data

loss function

选择平方损失函数

pick “best” function

梯度下降方法

找到参数w，b

1. 随机选择初始值$w_0$
2. 求梯度
3. 迭代
   

缺点：找到的是局部最优
linear regression 不用担心，因为L是convex的

result

得到了b=-188.4，w=2.7

testing data

找到另外10只宝可梦，得到average error=35（大于training data上的31.9）

更好的model

加入平方项$X_{cp}^2$

过拟合

更复杂的model对于training data能够拟合得更好，但是在testing data上会表现为过拟合

为什么复杂模型拟合得更好？
更复杂的模型范围更广
eg.令四次项系数为零则四次模型变为三次模型

model selection

但是线性模型真的能够很好地拟合吗？
收集到更多数据时，发现只考虑进化前CP值是不够的，还有隐藏的因素没被考虑进去

隐藏的因素是物种类型

redesign the model

if语句可以利用冲激函数改写成成linear function


结果：

还会有其他因素吗？

把所有能想到的因素都加入模型

重新定义$lossfunction$ ，加入正则项，这样期待得到更小的$w$，使得function更平滑，这样output对于input变化的敏感度降低，这样当输入被噪声noise干扰时，受到的影响变小，得到更好的结果

$\lambda$越大，得到的function越平滑，training error越大，但testing error有一个先减后增的过程
最终选择$\lambda =100$，得到$error=11.1$

conclusion