第1章 绪论

系列文章目录

第1章 绪论
第2章 机器学习概述
第3章 线性模型
第4章 前馈神经网络
第5章 卷积神经网络
第6章 循环神经网络
第7章 网络优化与正则化
第8章 注意力机制与外部记忆
第9章 无监督学习
第10章 模型独立的学习方式
第11章 概率图模型
第12章 深度信念网络
第13章 深度生成模型
第14章 深度强化学习
第15章 序列生成模型

---

---

前言

深度学习（Deep Learning）是近年来发展十分迅速的研究领域，并且在人工智能的很多子领域都取得了巨大的成功．从根源来讲，深度学习是机器学习的一个分支，是指一类问题以及解决这类问题的方法，本文主要介绍深度学习。

---

贡献度分配问题：
深度学习采用的模型一般比较复杂，指样本的原始输入到输出目标之间的数据流经过多个线性或非线性的组件（component）。
因为每个组件都会对信息进行加工，并进而影响后续的组件，所以当我们最后得到输出结果时，我们并不清楚其中每个组件的贡献是多少，这个问题叫作贡献度分配问题\信用分配问题\功劳分配问题（CreditAssignment Problem，CAP）

1.1 人工智能

图灵测试
“一个人在不接触对方的情况下，通过一种特殊的方式和对方进行一系列的问答。如果在相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的”。

因为要使得计算机能通过图灵测试，计算机就必须具备理解语言、学习、记忆、推理、决策等能力。

人工智能的学科

1. 机器感知（计算机视觉、语音信息处理）；
2. 学习（模式识别、 机器学习、强化学习）；
3. 语言（自然语言处理）、记忆（知识表示）；
4. 决策（规划、数据挖掘）等。

人工智能的主要领域

1. 感知：模拟人的感知能力，对外部刺激信息（视觉和语音等）进行感知和加工．主要研究领域包括语音信息处理和计算机视觉等．
2. 学习：模拟人的学习能力，主要研究如何从样例或从与环境的交互中进行学习．主要研究领域包括监督学习、无监督学习和强化学习等．
3. 认知：模拟人的认知能力，主要研究领域包括知识表示、自然语言理解、推理、规划、决策等

1.1.1 人工智能的发展历史

1.1.2 人工智能的流派

1. 符号主义（Symbolism）：又称逻辑主义、心理学派或计算机学派，是指通过分析人类智能的功能，然后用计算机来实现这些功能的一类方法。符号主义有两个基本假设：
   a）信息可以用符号来表示；
   b）符号可以通过显式的规则（比如逻辑运算）来操作．人类的认知过程可以看作符号操作过程．
   在人工智的推理期和知识期，符号主义的方法比较盛行，并取得了大量的成果．

2. 连接主义（Connectionism）：又称仿生学派或生理学派，是认知科学领域中的一类信息处理的方法和理论．在认知科学领域，人类的认知过程可以看作一种信息处理过程．
   连接主义认为人类的认知过程是由大量简单神经元构成的神经网络中的信息处理过程，而不是符号运算．
   连接主义模型的主要结构是由大量简单的信息处理单元组成的互联网络，具有非线性、分布式、并行化、 局部性计算以及自适应性等特性．

3. 行为主义（Actionism）：主要从生物进化的角度考虑，主张从和外界环境的互动中获取智能．

1.2 机器学习

机器学习（Machine Learning，ML）：是指从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。

机器学习的数据处理流程：

1. 数据预处理：对数据的原始形式进行初步的数据清理（比如去掉一些有缺失特征的样本，或去掉一些冗余的数据特征等）和加工（对数值特征进行缩放和归一化等），并构建成可用于训练机器学习模型的数据集．

2. 特征提取：从数据的原始特征中提取一些对特定机器学习任务有用的高质量特征．比如在图像分类中提取边缘、尺度不变特征变换（ScaleInvariant Feature Transform，SIFT）特征，在文本分类中去除停用词等．

3. 特征转换：对特征进行进一步的加工，比如降维和升维． 很多特征转换方法也都是机器学习方法． 降维包括特征抽取（Feature Extraction）和特征选择（FeatureSelection）两种途径．常用的特征转换方法有主成分分析（Principal Components Analysis，PCA）、线性判别分析（Linear Discriminant Analysis,LDA）.

4. 预测：机器学习的核心部分，学习一个函数并进行预测.

1.3 表示学习

表示学习：算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，这种学习就叫作表示学习。（Representation Learning）．

语义鸿沟：指输入数据的底层特征和高层语义信息之间的不一致性和差异性．

1.3.1 局部表示和分布式表示

局部表示/离散表示/符号表示：
局部表示通常可以表示为one-hot 向量的形式。

局部表示优点：

1. 这种离散的表示方式具有很好的解释性，有利于人工归纳和总结特征，并通过特征组合进行高效的特征工程；
2. 通过多种特征组合得到的表示向量通常是稀疏的二值向量，当用于线性模型时计算效率非常高.

局部表示缺点：

1. one-hot向量的维数很高，且不能扩展．如果有一种属性，我们就需要增加一维来表示；
2. 不同属性之间的相似度都为0。

局部表示和分布式表示

分布式表示优点：

1. 分布式表示的表示能力要强很多，分布式表示的向量维度一般都比较低；
2. 分布式表示也很容易表示新的类型名；
3. 不同属性之间的相似度也很容易计算．

嵌入（Embedding）：嵌入指将一个度量空间中的一些对象映射到另一个低维的度量空间中，并尽可能保持不同对象之间的拓扑关系．比如自然语言中词的分布式表示，也经常叫作词嵌入。

one-hot向量空间与嵌入空间

1.3.2 表示学习

表示学习的关键是构建具有一定深度的多层次特征表示。

1.4 深度学习

深度学习：
构建一个具有深度特征的模型，并从数据中自动学习到这些特征。

深度学习的数据处理流程

关键问题
贡献度分配问题（Credit Assignment Problem，CAP），即一个系统中不同的组件（component）或其参数对最终系统输出结果的贡献或影响．深度学习采用的模型主要是神经网络模型.

端到端学习
指在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标.

1.5 神经网络

人脑神经网络

网络容量（Network Capacity）
一个人工神经网络塑造复杂函数的能力

神经网络历史

1.6 本书的知识体系

1.7 常用的深度学习框架