【模型】回归模型

---

前言

最近在学习人工智能入门-李宏毅课程，讲到线性回归和概率模型，在这里做一个笔记

---

1.回归模型

1.1 什么是线性回归

一个自变量和一个因变量两者之间的关系可以用一条直线近似表示，这种回归就成为简单线性回归

1.2 什么是最小二乘法

一种求解线性回归的方法，试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。
如何理解最小二乘法
最小二乘法视频

1.3 建立线性回归模型步骤

• step1：模型假设，选择模型框架（线性模型）
  $比如设置模型y=b+{\sum }_{i=1}^N{w}_i{x}_i其中x为参数，w为权重$
• step2：模型评估，如何判断众多模型的好坏（损失函数）
  判断模型好坏，使用损失函数，在这里$ \hat{y}$为真实值，y为模型预测值。使用最小二乘法判断模型的好坏，即使得$\sum ({\hat{y}}^{(i)}-f(x{)}^{(i)}{)}^2$最小，最小二乘法是符合正态分布，所以当和为最小时，模型为最优解。

$$Loss(w^{\ast },b^{\ast })=ar{g}_{(w,b)}min\sum _{i=1}^m(f(x_i)-y_i{)}^2$$

$$=ar{g}_{(w,b)}min\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$

• step3：模型优化，如何筛选最优的模型（梯度下降）
  

图中$\eta$为学习率 ：移动的步长

• 步骤1：随机选取一个$w^0$
• 步骤2：计算微分，也就是当前的斜率，根据斜率来判定移动的方向
  • 大于0向右移动（增加w）
  • 小于0向左移动（减少w）
• 步骤3：根据学习率移动
• 重复步骤2和步骤3，直到找到最低点

1.4 过拟合问题

在线性回归模型中，模型中的$w_i{x}_i$参数越多，模型越复杂，同时也会出现过拟合的现象。
选取三个线性模型，分别为
$$y=b+w_1{x}_{cp}+w_2{x}_{cp}+w_3{x}_{cp}$$
$$y=b+w_1{x}_{cp}+w_2{x}_{cp}+w_3{x}_{cp}+w_4{x}_{cp}$$
$$y=b+w_1{x}_{cp}+w_2{x}_{cp}+w_3{x}_{cp}+w_4{x}_{cp}+w_5{x}_{cp}$$

• $y=b+w_1{x}_{cp}+w_2{x}_{cp}+w_3{x}_{cp}$
  

• $y=b+w_1{x}_{cp}+w_2{x}_{cp}+w_3{x}_{cp}+w_4{x}_{cp}$
  

• $y=b+w_1{x}_{cp}+w_2{x}_{cp}+w_3{x}_{cp}+w_4{x}_{cp}+w_5{x}_{cp}$
  

通过上述几张图发现，越复杂的线性方程，训练时候表现随着模型的复杂，越来越贴合数据，而在测试的数据时，模型没有随着模型的越来越复杂变得更贴合数据。

在训练集上面表现更为优秀的模型，为什么在测试集上效果反而变差了？这就是模型在训练集上过拟合的问题。

如图所示，每一个模型结果都是一个集合，5次模型⊇4次模型⊇3次模型, 所以在4次模型里面找到的最佳模型，肯定不会比5次模型里面找到更差。

将错误率结果图形化展示，发现3次方以上的模型，已经出现了过拟合的现象：