Deep Review深度学习殿堂级综述-笔记

论文意义及主要内容

2015年Yann LeCun、Yoshua Bengio、Geoffrey Hinton发表。
概念：深度学习允许由多个处理层组成的计算模型来学习具有多个抽象级别的数据表示。这些方法极大地改善了语音识别，视觉对象识别，物体检测以及药物发现和基因组学等许多其他领域的最新技术
原理：深度学习通过使用反向传播算法来指示机器应如何更改其内部参数（用于从前一层中的表示计算每个层中的表示）来发现大数据集中的复杂结构
应用：深度卷积网络CNN在处理图像、视频、语音和音频方面带来了突破，而循环神经网络则对文本和语音等顺序数据进行了彰显

论文结构

1.引言

深度学习允许由多个处理层组成的计算模型来学习具有多个抽象级别的数据特征。 这些方法极大地改善了语音识别，视觉对象识别，物体检测以及药物发现和基因组学等许多其他领域的最新技术。 深度学习通过使用反向传播算法来指示机器应如何更改其内部参数（用于从前一层中的特征计算每个层中的特征）来发现大数据集中的复杂结构。 深度卷积神经网络在处理图像，视频，语音和音频方面带来了突破，而循环神经网络则对文本和语音等顺序数据进行了彰显。
(即通过学习精确地找到一个复杂函数，之后在项目中使用此函数实现我们的目的)
Deep Learning有三个核心的要素：
a kind of representation learning methods
深度学习的精髓在于，各个layer上的特征不是由人类工程师设计的，而是通过一类general-purpose的learning procedure从数据中主动地习得。
with multiple levels of representation from raw to abstract
以图片为例，原始数据只是一些毫无意义的像素点构成的矩阵。而深度学习学习到的第一层特征能够检测图片中是否存在指向某个方向的线条；更高层的特征则通过组合低层级的特征，在更抽象的水平上——例如特定的花纹——进行检测。
non-linear transformation of representation
理论上，通过组合足够数量的非线性变换，可以对任意函数进行拟合。
可见，Deep Learning非常擅长于挖掘高维数据中的内在结构

传统机器学习算法的局限性在于，它们往往很难处理那些未被加工过的自然数据（natural data），例如一张原始的RGB图像。因此，构建一个传统的机器学习系统，往往需要一些有经验的工程师设计一个特征提取器，将原始数据转化成机器能识别的feature representation。

深度学习的应用领域：（eg:人脸识别、黑白图像上色、机器自动翻译、下围棋、目标检测、自动驾驶）
(1)计算机视觉
无人驾驶领域：车辆识别，路径规划
图片识别领域：图片表示，语义分割
(2)自然语言处理
智能搜索，人机对话，文本摘要，机器翻译
(3)其他方面
医学图像分析，自动驾驶，制药，人脸识别，机器翻译，虚拟助理，游戏，安全、异常检测，分析预测

2.监督学习

Supervised learning，有监督学习，是机器学习一种常见的形式。它的任务是训练一个模型，使其能在给定的输入下，输出预期的value。为此，我们需要一个error function来计算输出值与期望值的误差，并通过调节模型内部的参数来减小这个误差。梯度下降（Gradient Descent）和随机梯度下降（SGD）是两种常见的参数调节的算法。
目前，针对有监督学习问题，大部分机器学习系统都是