1 深度学习简介

NOTE：本文是学习中科院计算机学院徐俊刚老师“深度学习”课程的学习笔记，图片引用自徐老师的PPT。

1.1 人工智能、机器学习与深度学习（What）

深度学习是目前机器学习发展最蓬勃的分支，也是整个人工智能领域中应用前景最广阔的技术。首先要明确几个概念。

1. 人工智能（Artificial Intelligence）

定义：赋予机器能够完成那些需要人类智慧才能完成的工作。

"图灵测试"是AI发展的终极目标，即如果机器能够表现出与人类等价或无法分辨的智能，则认为机器有了思维，能够进行思考。

人工智能又分为以下几类：

• 弱人工智能
• 强人工智能
• 超级人工智能

2. 机器学习（Machine Learning）

定义：让计算机具有像人一样的学习和思考能力的技术的总称。具体来说是从已知数据中获得规律，并利用规律对未知数据进行预测的技术。

机器学习分为以下几类：

• 监督学习（Supervised Learning）：简单理解为“跟老师学”，即在有老师的环境下，学生从老师那里获得做对或做错的反馈。
• 无监督学习（Unsupervised Learning）：简单理解为“自学标评”，即没有老师的环境下，学生自己学习，一般有既定标准评价，或者无评价。
• 增强学习（Reinforcement Learning）：简单理解为“自学自评”，即没有老师的环境下，学生对问题答案自我评价。

机器学习常见算法如图1。

图1 机器学习常见算法

3. 深度学习（Deep Learning）

定义：一般是指通过训练多层网络结构对未知数据进行分类或递归。

深度学习又分为以下几类：

• 有监督学习方法：深度前馈网络、卷积神经网络、循环神经网络等。
• 无监督学习方法：深度信念网、深度玻尔兹曼机，深度自编码器等。

人工智能、机器学习与深度学习关系如图2。

图2 人工智能、机器学习与深度学习关系（摘自Nvidia）

1.2 为什么使用深度学习（Why）

深度学习是在表示学习（Representation Learning）的基础上发展而来。

表示学习：让算法自动从数据中获取特征，而不是像从前的机器学习方法，人为的去提取特征。

深度学习通过构建一个多层的表示学习结构，使用一系列非线性变换操作，从原始数据中提取简单的特征进行组合，从而获得更高层、更抽象的表示。

所以，深度学习和机器学习最大的不同：深度学习不需要人为的做特征工程，而是可以通过算法直接获取特征，如图3所示。

图3 机器学习与深度学习的最大差异性

1.3 深度学习的主要应用方向（How）

1. 图像处理领域主要应用

• 图像分类（物体识别）：整幅图像的分类或识别。

• 物体检测：检测图像中物体的位置进而识别物体。

• 图像分割：对图像中的特定物体按边缘进行分割。

• 图像回归：预测图像中物体组成部分的坐标。

2. 语音识别领域主要应用

• 语音识别：将语音识别为文字
• 声纹识别：识别是哪个人的声音
• 语音合成：根据文字合成特定人的语音

3. 自然语言处理领域主要应用

• 语言模型：根据之前词预测下一个单词。
• 情感分析：分析文本体现的情感（正负向、正负中或多态度类型）。
• 神经机器翻译：基于统计语言模型的多语种互译。
• 神经自动摘要：根据文本自动生成摘要。
• 机器阅读理解：通过阅读文本回答问题、完成选择题或完型填空。
• 自然语言推理：根据一句话（前提）推理出另一句话（结论）。

1.4 中英文术语对照（Note）

• 人工智能：Artificial Intelligence

• 计算智能：Computational Intelligence

• 感知智能：Perceptual Intelligence

• 认知智能：Cognitive Intelligence

• 机器学习：Machine Learning

• 有监督学习：Supervised learning

• 无监督学习：Unsupervised learning

• 增强学习：Reinforcement Learning

• 神经元：Neuron

• 感知器：Perceptron

• 神经网络：Neural Networks

• 反向传播算法: Back Propagation, BP

• 卷积神经网络：Convolutional Neural Network，CNN

• 深度学习：Deep Learning

• 梯度消失：Vanishing Gradient

• 修正线性单元：Rectified Linear Unit, ReLU

• 深度信度网：Deep Belief Networks

• 玻尔兹曼机：Boltzmann Machines

• 变分学习：Variational Learning

• 分类：Classification

• 递归：Recursion

• 深度信念网络：Deep Belief Network, DBN

• 深度玻尔兹曼机：Deep Boltzmann Machine, DBM

• 深度自编码器: Deep Auto-Encoder, DAE

• 降噪自编码器: Denoising Auto-Encoder, D-AE

• 栈式自编码器: Stacked Auto-Encoder, SAE

• 生成对抗网络: Generative Adversarial Networks，GAN

• 非参数贝叶斯网络: Non-parametric Bayesian Networks

• 深度前馈网络: Deep Feedforward Neural Network, D-FNN

• 卷积神经网络: Convolutional Neural Network, CNN

• 循环神经网络: Recurrent Neural Network, RNN

• 胶囊网络: Capsule Net

• 深度森林: Deep Forest

• 图像分类（物体识别）: Image Classification (Object Recognition)

• 物体检测：Object Detection

• 图像分割：Image Segmentation

• 图像回归：Image Regression

• 语音识别：Automatic Speech Recognition, ASR

• 声纹识别：Voiceprint Recognition

• 语音合成：Speech Synthesis

• 语言模型：Language Model

• 情感分析：Sentiment Analysis

• 神经机器翻译：Neural Machine Translation, NMT

• 神经自动摘要：Neural Automatic Summarization

• 机器阅读理解：Machine Reading Comprehension, MRC

• 自然语言推理：Natural Language Inference, NLI

• 文本蕴含：Text Entailment