Deep Learning学习笔记
这个笔记是对2015年LeCun、Bengio、Hinton在Nature上发表的《Deep Learning》综述论文的一些笔记。笔记严格文章的结构来做的。
文章PDF地址:Download Deep Learning Review
对应的排版比较好的中文翻译: https://artificial-intelligence.net.cn/2019/06/05/1559711811/?from=singlemessage&isappinstalled=0
绪论
传统的机器学习方法使用处理原始数据, 严格依赖于领域知识去做特征提取(Limited in their ability to process natural data in their raw form)。而深度学习是一种表示学习方法, 它可以使用多个(非线性的)处理层的计算模型来自动地学习不同抽象层次的数据表示, 可以用来学习非常复杂的函数(学习高维数据中的复杂结构)。
以图像为例子, 原始数据是像素, 第一层会学习图像的特定位置和方向上有没有边的存在。第二层通常会根据那些边的某些排放而来检测图案。第三层或许会把那些图案进行组合,从而使其对应于熟悉目标的某部分。In images, local combinations of edges form motifs, motifs assemble into parts, and parts form objects.
对于分类任务而言,高层次的表达能够强化输入数据的区分能力方面,同时削弱不相关因素。
Input-Output function: Insensitive to irrelevant variations of the inputs; Sen