李宏毅机器学习深度学习课程第三讲Regression

李宏毅机器学习深度学习课程第三讲Regression

简述

​ 画外音，这一讲听完脑子里全是宝可梦哈哈哈哈哈哈哈。不过有一说一，李老师的课用来熟悉基本概念和符号语言（以及markdown和latex）真的太好了，对于我这种看电影似看完吴恩达老师课程的人来说。

这一章主要讲的就是Regression。

所谓Regression就是解决下面这个问题:

$$\begin{gathered} 对于一个确定的X\to Y,找到一个函数： \\ \hat{f}(x)=\hat{y} \end{gathered}$$

一般的过程：

1.选择模型；

2.损失函数评估

3,.最好的模型选择

选择模型

从 一 个 f u n c t i o n   s e t : F = { f 1 , f 2 , . . . , f d } 中 选 择 函 数 模 型 进 行 拟 合 。 例 如 ： 对 于 每 一 个 特 征 x i , 赋 予 权 重 向 量 w i , 以 及 最 终 的 b i a s 向 量 b , 得 到 线 性 模 型 ： y ^ = b + ∑ i = 1 n w i x 从一个function \ set:\\F = \{{f}^{1}, {f}^{2},...,{f}^{d} \}中选择函数模型进行拟合。\\ 例如： 对于每一个特征{x}_{i},赋予权重向量{w}^{i},以及最终的bias向量b, 得到线性模型：\\ \hat{y}=b + \sum_{i=1}^n w_ix 从一个function set:F={f1,f2,...,fd}中选择函数模型进行拟合。例如：对于每一个特征xi​,赋予权重向量wi,以及最终的bias向量b,得到线性模型：y^​=b+i=1∑n​wi​x

损失函数评估

有Training Data：

$$[X^n,Y^n]=\left[\begin{array}{c}{x}^0,y^0\\ x^1,y^1\\ ...\\ x^n,y^n\end{array}\right]$$

对于损失函数
$$L(f)=L(w,b)$$
以线性模型的均方根误差为例为例：
$$\sum _{i=1}^n{({\hat{y}}^i-(b+w\cdot x_{cp}^i))}^2$$

模型选择+Gradient Descent

$$f^{\ast }=\underset{f}{\mathrm{argmin}}L(f)$$

$$w^{\ast },b^{\ast }=\underset{w,b}{\mathrm{argmin}}L(w,b)$$

对于w的函数L(w)，在L(w)可微分时即可以使用Gradient Descent,

数学过程描述：
$$对于w^{\ast }=\underset{w}{\mathrm{argmin}}L(f)$$

$$随机初始化一个w^0$$

$$\begin{gathered} 计算\frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^0} \\ 定义学习率\eta 更新:w^1\leftarrow w^0-\eta \frac{\mathrm{d}L}{\mathrm{d}w}{|}_{w=w^0} \\ 重复以上过程。 \\ 对于参数w、b,更新优化的方式会变成：\left[\begin{array}{c}{w}^1\\ b^1\end{array}\right]\leftarrow \left[\begin{array}{c}{w}^0\\ b^0\end{array}\right]-\eta \nabla L \\ 其中：\nabla L=\left[\begin{array}{c}\frac{\partial L}{\partial w}{|}_{w=w^0}\\ \frac{\partial L}{\partial b}{|}_{b=b^0}\end{array}\right] \end{gathered}$$

正则化

随着模型的复杂程度上升时，模型在训练集上的表现一般会越好。但当我们要评价一个模型时，会使用一个测试集来进行检验，这时候就会出现error比较大的情况，这便是模型的泛化能力。

模型出现这种问题这是有很多原因的，例如：
$$\begin{gathered} 1.可能是因为未选择到合适的特征：x_{hidden} \\ 2.模型复杂度过高导致过拟合严重。 \end{gathered}$$
这时候需要调整我们的模型，包括选择新的特征，以及使用正则化的方法，即在损失函数上增加一项，减小模型的复杂程度，使模型更加平滑，收到的影响更小，增加模型的鲁棒性：
$$L=\sum _{i=1}^n(\widehat{y^i}-(b+w\cdot x^i))+\lambda w^2$$
注：模型泛化能力的研究是研究泛化误差的概率上界来进行的，即泛化误差上界：

泛化误差上界具有以下特征：
$$\begin{gathered} 1.泛化误差上界与样本容量相关，样本量N\uparrow ,泛化误差上界\to 0 \\ 2.他是假设空间容量函数，假设空间容量\uparrow ,泛化误差上界\uparrow \end{gathered}$$