机器学习-线性回归

机器学习-线性回归

定义

• 线性模型描述的了一个（或者多个）自变量对另一个因变量的影响是成简单的线性比例。
• 回归就是找到一个函数，通过输入特征输出一个数值。

示例

1.股市预测

• 输入：过去十年的股市变动、新闻资讯、公司财报等。
• 输出：预测明天股市的平均值

2.商品推荐

• 输入：过去十年的股市变动、新闻资讯、公司财报等。
• 输出：预测明天股市的平均值

模型步骤

• 第一步：模型假设，选择模型框架（线性模型）
• 第二步：模型评估，如何判断众多模型的好坏（损失函数）
• 第三步：模型优化，如何筛选最优的模型（梯度下降）

第一步：模型假设-线性模型

一元线性模型（单个特征）

以一个特征$x_{cp}{x}_{cp}$为例，线性模型假设 $y=b+w\cdot x_{cp}$所以 w和 b可以猜测很多模型：$$f1:y=10.0+9.0\cdot x_{cp}$$ $$f2:y=9.8+9.2\cdot x_{cp}$$ $$f3:y=-0.8-1.2\cdot x_{cp}$$$$...$$​虽然可以做出很多假设，但在这个例子中，显然 $f_3:y=-0.8-1.2\cdot x_{cp}$的假设是不合理的，不能进化后CP值是个负值吧~~

多元线性模型（多个特征）

在实际应用中，输入特征肯定不止 $x_{cp}$这一个。例如，进化前的CP值、物种（Bulbasaur）、血量（HP）、重量（Weight）、高度（Height）等，特征会有很多。
所以我们假设 线性模型 Linear model：$y=b+\sum w_i{x}_i$

• $x_i$：就是各种特征(fetrure) $x_{cp},x_{hp},x_w,x_h,\cdot \cdot \cdot$
• $w_i$：各个特征的权重 $w_{cp},w_{hp},w_w,w_h,\cdot \cdot$
• b：偏移量

第二步：模型评估-损失函数

收集和查看训练数据（单个特征）

这里定义 $x^1$是进化前的CP值，${\hat{y}}^1$进化后的CP值，$\hat{}$所代表的是真实值
将10组原始数据在二维图中展示，图中的每一个点$(x_{cp}^n,{\hat{y}}^n)$对应着 进化前的CP值 和 进化后的CP值。

如何判断众多模型的好坏

有了这些真实的数据，那我们怎么衡量模型的好坏呢？从数学的角度来讲，我们使用距离。求【进化后的CP值】与【模型预测的CP值】差，来判定模型的好坏。也就是使用损失函数（Loss function） 来衡量模型的好坏，统计10组原始数据 ${\left({\hat{y}}^n-f(x_{cp}^n)\right)}^2$的和，和越小模型越好。如下图所示：

第三步：模型优化-梯度下降

如何筛选最优的模型（参数w，b）

已知损失函数是 $L(w,b)={\sum }_{n=1}^{10}{\left({\hat{y}}^n-(b+w\cdot x_{cp})\right)}^2$ ，需要找到一个令结果最小的 $f\ast$ ，在实际的场景中，我们遇到的参数肯定不止 w, b。先从最简单的只有一个参数w入手，定义$w^{\ast }=arg\underset{x}{\min }L(w)$

首先在这里引入一个概念 学习率 ：移动的步长，如下图中 $\eta$

• 步骤1：随机选取一个 $w^0$
• 步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向
  • 大于0向右移动（增加w）
  • 小于0向左移动（减少w）
• 步骤3：根据学习率移动 重复步骤2和步骤3，直到找到最低点