Lecture 1_Extra Regression Case Study -- Predicting Pokemon CP

Lecture 1_Extra Regression: Case Study – Predicting Pokemon CP

Regression: Case Study – Predicting Pokemon CP

Regression

回归的定义

Regression 就是找到一个函数 $function$ ，通过输入特征 $x$，输出一个数值 $Scalar$。

回归应用举例

• 股市预测（Stock Market Forecast）

• 自动驾驶（Self-driving Car）

• 商品推荐（Recommendation）

• Pokemon精灵攻击力预测（Combat Power of a pokemon）

  • 进化前的 CP 值 $x_{cp}$、物种 $x_s$（Bulbasaur）、血量（HP）$x_{hp}$、重量（Weight）$x_w$、高度（Height）$x_h$；
  • 输出值 $y$ $(Scalar)$，即Pokemen进化后的 CP 值。

模型步骤

• step 1：模型假设，选择模型框架（线性模型）；
• step 2：模型评估，如何判断众多模型的好坏（损失函数）；
• step 3：模型优化，如何筛选最优的模型（梯度下降）；

Step 1: Model – Linear Model

一元线性模型

以一个特征 $x_{cp}$ 为例，线性模型假设 $y=b+w\cdot x_{cp}$：

其中 $f_3$ 显然不合理，因为 CP 值一定非负。

多元线性模型

利用进化前的 CP 值 $x_{cp}$、物种 $x_s$（Bulbasaur）、血量（HP）$x_{hp}$、重量（Weight）$x_w$、高度（Height）$x_h$ 等特征作为输入：

Step 2: Goodness of Function – Loss Function

单特征 $x_{cp}$

收集和查看数据

$x^1$ 上标 $1$ 代表第 $1$ 个完整的 object，${\hat{y}}^1$ 代表第一个 object 进化后的真实 CP 值：

将 $10$ 组原始数据在二维图中展示，图中的每一个点 $(x_{cp}^n,{\hat{y}}^n)$ 对应着 进化前的 CP 值和进化后的 CP 值：

判断模型的好坏

求【进化后的 CP 值】与【模型预测的 CP 值】差，来判定模型的好坏。也就是使用损失函数（Loss function） 来衡量模型的好坏，统计 $10$ 组原始数据 ${\left({\hat{y}}^n-f(x_{cp}^n)\right)}^2$ 的和，和越小模型越好。如下图所示：

可视化输入的不同的 $function$，通过 $Loss$ 值的大小来判断这个 $function$ 是否优秀：

Step 3: Best Function – Gradient Descend

先从最简单的只有一个参数 $w$ 入手，定义 $w^{\ast }=\arg \underset{x}{\min }L(w)$

首先在这里引入一个概念 学习率：移动的步长，如图中 $\eta$

• 步骤1：随机选取一个 $w^0$；
• 步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向；
  • 大于0向右移动（增加$w$）；
  • 小于0向左移动（减少$w$）；
• 步骤3：根据学习率移动；
• 重复步骤2和步骤3，直到找到最低点。

陷入局部最优的这个问题，在 $Regression$ 中并不存在！

那么两个参数呢？定义 $w^{\ast },b^{\ast }=\arg \underset{x}{\min }L(w,b)$

梯度下降推演最优模型的过程

梯度下降算法面临的问题