1. 什么是Regression(回归)
如果一个任务的输出(output)是一个数值(scalar),那么这种任务就是Regression(回归)。
例如:股票指数预测;无人驾驶中输出方向盘角度;商品推荐中使用者购买商品的可能性等
2. 线性回归案例:宝可梦cp值
根据宝可梦当前cp值以及一些其他指标,预测进化后的cp值
使用机器学习三板斧
Step1. 设计模型(Model)
假设进化后的cp值为y,y与进化前的cp值 x c p x_{c p} xcp 成线性关系,则我们可以设计如下线性模型: y = b + w ⋅ x c p y=b+w \cdot x_{c p} y=b+w⋅xcp,其中w是权重,b是偏差。若给出不同的权重和偏差,就可以得出一堆函数 f 1 , f 2 ⋯ f_{1}, f_{2} \cdots f1,f2⋯。
若考虑多个特征(feature),则可以构建一个相对复杂的线性模型: y = b + ∑ w i x i y=b+\sum w_{i} x_{i} y=b+∑wixi,这里的 w i w_{i} wi 分别是每个 x i x_{i} xi 对应的权重。
Step2. 判断模型好坏(Goodness of Function)
取10只宝可梦,假设真实值是 y ^ 1 ⋯ y ^ 10 \hat{y}^{1} \cdots \hat{y}^{10} y^1⋯y^10。我们需要一个额外的函数去评价真实值和预测值的好坏,这个函数成为 损失函数(Loss function)
在线性模型中,我们使用平方误差函数,即:
L ( f ) = ∑ n = 1 10 ( y ^ n − f ( x c p n ) ) 2 \mathrm{L}(f)=\sum_{n=1}^{10}\left(\hat{y}^{n}-f\left(x_{c p}^{n}\right)\right)^{2} L(f)=n=1∑10(y^n−