《神经网络与深度学习》邱希鹏 学习笔记(3)

完成进度

• …
• 第二章 (1)
• 第二章(2)
• 第二章(3)
• …

第二章 机器学习概述

---

第二章首先介绍机器学习的基本概念和基本要素，并较为详细地描述一个机器学习的例子------线性回归

机器学习 (Machine Learning , ML) 通俗地讲，就是让计算机从数据中进行自动学习，得到某种知识/规律。

事实上，作为一门学科，机器学习通常指一类问题以及解决这类问题的方法，即如何从观测数据/样本中寻找规律，并利用学习到的规律/模型对未知或无法观测的数据进行预测。

机器学习在早期的工程领域被称作模式识别 (Pattern Recognition) ，但模式识别更偏向于具体的应用任务_{光学字符识别 语音识别 人脸识别} 。这些任务的特色是，人类自身很容易完成，但背后的原因未知，因此也很难人工设计出一个计算机程序来完成这些任务。

机器学习可以直接从有标注的样本上学习其中的规律，并完成各种识别任务，并最终取代模式识别，成为这一类问题及解决方法的总称。

线性回归

---

线性回归 (Linear Regression) 是机器学习和统计学中最基础和最广泛应用的模型，是一种对自变量和因变量之间关系进行建模的回归分析。

自变量数量为1时称为简单回归，自变量数量大于1时称为多元回归。

从机器学习的角度来看，自变量就是样本的特征向量 $x\text{x}x\in {\mathbb{R}}^D$ (每一维对应一个自变量)，因变量是标签 $y$。

假设空间是一组参数化的线性参数

$$f(x\text{x}x;w\text{w}w,b)={w\text{w}w}^{T}x\text{x}x+b,$$

其中权重 $w\text{w}w\in {\mathbb{R}}^D$ 都是可学习的参数，函数 $f(x\text{x}x;w\text{w}w,b)\in \mathbb{R}$ 也称为线性模型。

简单起见，公式可整理为

$$f(x\text{x}x;\widehat{w\text{w}w})={\widehat{w\text{w}w}}^T\widehat{x\text{x}x}$$

其中， $\widehat{w\text{w}w}$ 和 $\widehat{x\text{x}x}$ 分别称为增广权重向量和增广特征向量。

$$\widehat{x\text{x}x}=x\text{x}x⨁1\triangleq \left[\begin{array}{c}\\ \\ x\text{x}x\\ \\ \\ 1\end{array}\right]=\left[\begin{array}{c}{x}_1\\ .\\ .\\ .\\ x_D\\ 1\end{array}\right]$$
$$\widehat{w\text{w}w}=w\text{w}w⨁b\triangleq \left[\begin{array}{c}\\ \\ x\text{x}x\\ \\ \\ 1\end{array}\right]=\left[\begin{array}{c}{w}_1\\ .\\ .\\ .\\ w_D\\ b\end{array}\right]$$

其中 $⨁$ 定义为两个向量的拼接操作。

下文直接以 $w\text{w}w$ 和 $x\text{x}x$ 分别表示增广权重向量和增广特征向量，线性模型简化为 $f(x\text{x}x;w\text{w}w)={w\text{w}w}^{T}x\text{x}x$。

参数学习

给定一组包含 $N$ 个训练样本的训练集 D = { ( x ( n ) , y ( n ) ) } n = 1 N \mathcal{D}=\{(\pmb{x}^{(n)},y^{(n)})\}^N_{n=1} D={ (xxx(n),y(n))}n=1N​，希望学习一个最优的线性回归的模型参数 $w\text{w}w$。

介绍四种参数估计方法。

经验风险最小化

首先，由于线性回归为回归问题，损失函数使用平方损失函数。

根据经验最小化准则，训练集 $\mathcal{D}$ 上的经验风险定义为
$$\begin{array}{rl}\mathcal{R}(w\text{w}w)& =\sum _{n=1}^N\mathcal{L}(y^{(n)},f({x\text{x}x}^{(n)};w\text{w}w))\\ & =\frac{1}{2}\sum _{n=1}^N(y^{(n)}-{w\text{w}w}^T{x\text{x}x}^{(n)}{)}^2\\ & =\frac{1}{2}||y\text{y}y-{X\text{X}X}^{T}w\text{w}w|{|}^2,\end{array}$$
首先，简化起见，省略了 $\frac{1}{N}$。

其中，$y\text{y}y=[y^{(1)},\dots ,y^{(N)}{]}^T\in {\mathbb{R}}^N$ 是由所有样本的真实标签组成的列向量，而 $X\text{X}X\in {\mathbb{R}}^{(D+1)\times N}$ 是由所有样本的输入特征 ${x\text{x}x}^{(n)},\dots ,{x\text{x}x}^{(n)}$ 组成的矩阵：
$$X=\left[\begin{array}{cccc}{x}_1^{(1)}& x_1^{(2)}& \cdots & x_1^{(N)}\\ ⋮& ⋮& \ddots & ⋮\\ x_D^{(1)}& x_D^{(2)}& \dots & x_D^{(N)}\\ 1& 1& \dots & 1\end{array}\right]$$
风险函数 $\mathcal{R}(w\text{w}w)$ 是关于 $w\text{w}w$ 的凸函数，其对 $w\text{w}w$ 的偏导数为：
$$\begin{array}{rl}\frac{\partial \mathcal{R}(w\text{w}w)}{\partial w\text{w}w}& =\frac{1}{2}\frac{\partial ||y\text{y}y-}{\partial w\text{w}w}\\ & \end{array}$$