李宏毅深度学习课程笔记02——回归

---

目录

0.回归的定义

1.回归的建模方法

2.线性模型

3.损失函数

4.梯度下降

5.过拟合

---

0.回归的定义

回归（Regression）是监督学习中的一种任务，指找到一个函数function，函数的输出结果是一个数值。

1.回归的建模方法

上一章中已经介绍过，机器学习的实现分三步：model、goodness of function、pick the best function。回归任务建模的基本步骤是同样的，在这里我们概括为模型假设、模型评估、筛选最优模型。

2.线性模型

 线性模型（Linear model）可以表示为：

其中就是各种特征，指各个特征的权重，b为偏移量。

3.损失函数

损失函数是用来衡量实际与测试结果偏差的函数。定义损失函数：

根据线性模型的函数表示，代入可得：

下图中每一个点代表着一个模型对应的  和  ，颜色越深，模型更优。

4.梯度下降

找出model一系列函数中最符合的函数（损失函数最小的function），实际上是确定  和  的值。

梯度下降算法求解的步骤：

1.随机选取一点

2.在该点处求微分，也就是当前的斜率

根据斜率来判定移动的方向：斜率大于0则向右移动，小于0向左移动

3.根据学习率（步长）移动

重复步骤2和步骤3，直到找到最低点。

5.过拟合

在训练集上面表现优秀的模型，可能在测试集上的效果反而变差，这就是模型在训练集上过拟合的问题，出现过拟合问题也就说明模型的泛化能力弱。

如何解决过拟合问题呢？

（1）输入更多数据寻找新的规律

（2）考虑加入更多的特征

（3）加入正则化（Regularization）