一、这篇论文是2015年刊登在Nature上的综述性文章,关键点有:
1.深度学习用非线性模块、表示学习,能够提取很复杂抽象的特征。
2.网络调整的主要是权重,多用随机梯度下降法(SGD)、反向传播算法、预训练模型。
3.卷积神经网络CNN(通常由2-3个卷积层+非线性激活函数+池化层组成)的成功主要得益于GPU的性能、ReLU函数的运用,dropout正则化方法,其关键点有:信号的局部连接、共享权重、降采样、多层网络结构。
4.分布式特征表示是深度学习的一个核心概念:发现数据之间的语义相似性。从文本中学习的词向量表示在自然语言处理中运用广泛。循环神经网络RNN可以编码解码这种表示,而长短期记忆网络LSTM(用了特别的隐藏单元)或相关形式的带栅门的单元现在在机器翻译上表现挺好。
5.未来展望:无监督学习对于重新点燃深度学习的热潮起到了促进作用。有望结合卷积神经网络和循环神经网络并用强化学习(通常用马尔科夫决策过程来描述)来决定看哪里。尽管深度学习和简单释因已经被用在语音和手写识别上很久了,仍需要新范式通过大向量的操作来代替对符号表达基于规则的操作。
二、对自己的启发
回想起在模式识别课堂上学习过的BP反向传播算法和非线性激活函数,过拟合和欠拟合,偏差和方差的问题,基础还是有用的。
迁移学习(和RNN寻找的语义相似性(如一个圆,它有水平对称性、垂直对称性、和椭圆相似的性质)是否有点像?更多在小样本量学习(one-shot/low-shot)及meta learning(one-shot/zero-shot))和GAN(两个主要组件:生成器和鉴别器)也是近期较为热门的研究方向。
论文Deep learning
最新推荐文章于 2024-08-31 09:00:00 发布
本文综述了深度学习的关键进展,包括非线性模块、表示学习、卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆网络(LSTM)、分布式特征表示、无监督学习等,并探讨了深度学习在自然语言处理、图像识别等领域的应用,以及对未来研究方向的展望。
摘要由CSDN通过智能技术生成