论文Deep learning

一、这篇论文是2015年刊登在Nature上的综述性文章，关键点有：
1.深度学习用非线性模块、表示学习，能够提取很复杂抽象的特征。
2.网络调整的主要是权重，多用随机梯度下降法（SGD）、反向传播算法、预训练模型。
3.卷积神经网络CNN（通常由2-3个卷积层+非线性激活函数+池化层组成）的成功主要得益于GPU的性能、ReLU函数的运用，dropout正则化方法，其关键点有：信号的局部连接、共享权重、降采样、多层网络结构。
4.分布式特征表示是深度学习的一个核心概念：发现数据之间的语义相似性。从文本中学习的词向量表示在自然语言处理中运用广泛。循环神经网络RNN可以编码解码这种表示，而长短期记忆网络LSTM（用了特别的隐藏单元）或相关形式的带栅门的单元现在在机器翻译上表现挺好。
5.未来展望：无监督学习对于重新点燃深度学习的热潮起到了促进作用。有望结合卷积神经网络和循环神经网络并用强化学习（通常用马尔科夫决策过程来描述）来决定看哪里。尽管深度学习和简单释因已经被用在语音和手写识别上很久了，仍需要新范式通过大向量的操作来代替对符号表达基于规则的操作。
二、对自己的启发
回想起在模式识别课堂上学习过的BP反向传播算法和非线性激活函数，过拟合和欠拟合，偏差和方差的问题，基础还是有用的。
迁移学习（和RNN寻找的语义相似性（如一个圆，它有水平对称性、垂直对称性、和椭圆相似的性质）是否有点像？更多在小样本量学习(one-shot/low-shot)及meta learning(one-shot/zero-shot)）和GAN（两个主要组件：生成器和鉴别器）也是近期较为热门的研究方向。