李宏毅机器学习笔记 2.回归

最近在跟着Datawhale组队学习打卡，学习李宏毅的机器学习/深度学习的课程。
课程视频：https://www.bilibili.com/video/BV1Ht411g7Ef
开源内容：https://github.com/datawhalechina/leeml-notes
本篇文章对应视频中的P3。另外，最近我也在学习邱锡鹏教授的《神经网络与深度学习》，会补充书上的一点内容。

通过上一次课1.机器学习介绍，我们了解到机器学习分为3个步骤1）define a set of function；2）goodness of function；3）pick the best function。本篇文章主要介绍线性回归中的（1）损失函数、（2）梯度下降、（3）过拟合和正则化。

---

1. 损失函数

目的：损失函数就是用来衡量模型好坏的，即预测值和真实值之间的差别。

偏倚 bias：模型预测值与真实值的差异，由于学习算法的错误或过于简单的假设造成的误差，它会导致模型欠拟合

1.1 线性回归模型的参数

对于一个线性回归的模型，有
$$y=b+\sum w_i{x}_i\text{\hspace{1em}(1.1)}$$
其中，$x_i$是各个特征，$w_i$是各个特征的权重，$b$为偏移量，$y$为预测值.

1.2 损失函数Loss Function的公式

损失函数的公式为
L ( f ) = L ( w , b ) = ∑ n = 1 10 (