《神经网络与深度学习》邱希鹏 学习笔记（4）

完成进度

• …
• 第二章(2)
• 第二章(3)
• 第三章
• …

第二章 机器学习概述

---

第二章首先介绍机器学习的基本概念和基本要素，并较为详细地描述一个机器学习的例子------线性回归

机器学习 (Machine Learning , ML) 通俗地讲，就是让计算机从数据中进行自动学习，得到某种知识/规律。

事实上，作为一门学科，机器学习通常指一类问题以及解决这类问题的方法，即如何从观测数据/样本中寻找规律，并利用学习到的规律/模型对未知或无法观测的数据进行预测。

机器学习在早期的工程领域被称作模式识别 (Pattern Recognition) ，但模式识别更偏向于具体的应用任务_{光学字符识别 语音识别 人脸识别} 。这些任务的特色是，人类自身很容易完成，但背后的原因未知，因此也很难人工设计出一个计算机程序来完成这些任务。

机器学习可以直接从有标注的样本上学习其中的规律，并完成各种识别任务，并最终取代模式识别，成为这一类问题及解决方法的总称。

机器学习算法的类型

---

机器学习可以按照不同的标准来进行分类。

按 $f(x\text{x}x;\theta )$ 的不同，机器学习算法可分为线性模型和非线性模型；

按学习准则的不同，机器学习算法可分为统计方法和非统计方法。

一般按照训练样本提供的信息以及反馈方式的不同进行分类，分类如下：

监督学习

如果机器学习的目标是建模样本的特征 $x\text{x}x$ 和标签 $y$ 之间的关系：$y=f(x\text{x}x;\theta )$ 或 $p(y|x\text{x}x;\theta )$，并且训练集中每个样本都有标签，那么这类学习称为监督学习 (Supervised Learning)

根据标签类型的不同，监督学习又可分为：

1. 回归 (Regression)
   回归问题中的标签 $y$ 是连续值(实数或连续整数)，$f(x\text{x}x;\theta )$ 的输出也是连续值。
2. 分类 (Classification)
   分类问题中的标签 $y$ 是离散的类别(符号)。
   在分类问题中，学习到的模型也称为分类器 (Classifier)。
   分类问题根据其类别数量又可分为二分类 (Binary Classification) 和多分类 (Multi-class Classification) 问题。
3. 结构化学习 (Structured Learning)
   结构化学习问题是一种特殊的分类学习。
   在结构化学习中，标签 $y\text{y}y$ 通常是结构化的对象_{序列 树 图} 。
   由于结构化学习的输出空间比较大，因此一般定义一个联合特征空间，将 $x\text{x}x$，$y\text{y}y$ 映射为该空间中的联合特征向量 $\varphi (x\text{x}x,y\text{y}y)$，预测模型可以写为
   $$\hat{y}=\underset{y\in \mathtt{G}\mathtt{e}\mathtt{n}(x)}{\mathrm{argmax}}f(\varphi (x\text{x}x,y\text{y}y);\theta )$$
   其中$\mathtt{G}\mathtt{e}\mathtt{n}(x\text{x}x)$表示输入 $x\text{x}x$ 的所有可能的输出目标集合。
   计算 $argmax$ 的过程也称为解码 (Decoding) 过程，一般通过动态规划的方法来计算。

无监督学习

无监督学习 (Unsupervised Learning,UL) 是指从不包含目标标签的训练样本中自动学习到一些有价值的信息，典型的无监督学习问题有聚类、密度估计、特征学习、降维等。

强化学习

强化学习 (Reinforcement Learning,RL) 是一类通过交互来学习的机器学习算法。
在强化学习中，智能体根据环境的状态做出一个动作，并得到即时或延时的奖励。
智能体在和环境的交互中不断学习并调整策略，以取得最大化的期望总回报。

监督学习需要每个样本都有标签，而无监督学习则不需要标签。

一般而言，监督学习通常需要大量的有标签数据，这些数据集一般都需要由人工进行标注，成本很高。因此，也出现了很多弱监督学习 (Weakly Supervised Learning) 和半监督学习 (Semi-Supervised Learning,SSL) 的方法，希望从大规模的无标注数据中充分挖掘有用的信息，降低对标注样本数量的要求。

强化学习和监督学习的不同在于，强化学习不需要显示地以“输入/输出对”的方式给出训练样本，是一种在线的学习机制。

下图为三种学习方式比较。

数据的特征表示

在实际应用中，数据的类型多种多样_{文本 音频 图像 视频}，不同类型的数据，其原始特征 (Raw Feature) 的空间也不相同，而很多机器学习算法要求输入的样本特征是数学上可计算的，因此在机器学习之前需要将这些不同类型的数据转换为向量表示。

图像特征

在手写体数字识别任务中，样本 $x\text{x}x$ 为待识别的图像，为了识别 $x\text{x}x$ 代表的数字，需要从图像中抽取特征。

若图像是一张大小为 $M\times N$ 的图像，其特征向量可以简单地表示为 $M\times N$ 维的向量，每一维的值为图像中对应像素的灰度值。

为了提高模型准确率，也会经常加入一个额外的特征_{直方图 宽高比 笔画数 纹理特征 边缘特征}。

假设对样本 $x\text{x}x$ 共抽取了 $D$ 个特征，这些特征可以表示为一个向量 $x$