![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
读书笔记
文章平均质量分 93
下一步
长期关注NLPMLCLinux等
展开
-
深度学习(Deep Learning)读书思考一:基本概念
概述 《Deep Learning》是大神Yoshua Bengio关于深度学习的一个全面概述,之前也出过很多综述类的文章。 该系列读书思考笔记主要记录深度学习中需要关注或者实际工业界使用的知识点或者技术,方便查阅和备忘。 本节可能会罗列很多技术点,后面慢慢补充。人工智能图谱机器学习的终极目标是人工智能(AI),目前AI的痛点在于人很容易理解的知识,机器很难去表示原创 2016-11-20 11:25:05 · 2225 阅读 · 0 评论 -
深度学习(Deep Learning)读书思考二:前向神经网络
概述 深度学习也是机器学习的一种,是由前向神经网络或者多层感知机算法演化而来,由于计算资源和可计算数据增加,神经网络的效果逐渐浮现出来,从而迎来了蓬勃发展。本节主要介绍深度学习中基础网络结构前向神经网络(Feedword Netural Network)FNN基本概念机器学习都是在学习一种变换,深度学习也不例外,即y=f(x)=ϕ(x;θ)y=f(x)=\phi(x;\the原创 2016-11-20 11:25:56 · 4282 阅读 · 0 评论 -
深度学习(Deep Learning)读书思考三:正则化
概述正则化是机器学习中非常重要并且非常有效的减少泛华误差的技术,特别是在深度学习模型中,由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合,比较常用的技术包括: 参数添加约束,例如L1、L2范数等 训练集合扩充,例如添加噪声、数据变换等 Dropout 该文主要介绍深度学习中比较常见几类正则化方法以及常用参数选择,并试图解释其原理。原创 2016-11-20 11:26:30 · 6421 阅读 · 0 评论 -
深度学习(Deep Learning)读书思考四:模型训练优化
概述机器学习应用包括模型构建、求解和评估,对于深度模型而言也是类似,根据之前的介绍可以构建自己的深度神经网络结构。相对于一般的优化问题,深度模型更难优化,本节主要介绍深度学习模型优化挑战、优化算法以及优化策略等。 深度学习模型优化挑战 深度学习优化算法 深度学习中的特殊策略 另外,关于更多数值优化技术可以参考。数值优化技术深度学习优化挑战机器学习原创 2016-11-20 11:27:29 · 10966 阅读 · 2 评论 -
深度学习(Deep Learning)读书思考五:卷积神经网络(CNN)
概述原创 2016-11-20 11:28:09 · 2816 阅读 · 0 评论 -
深度学习(Deep Learning)读书思考六:循环神经网络一(RNN)
概述循环神经网络(RNN-Recurrent Neural Network)是神经网络家族中的一员,擅长于解决序列化相关问题。包括不限于序列化标注问题、NER、POS、语音识别等。RNN内容比较多,分成三个小节进行介绍,内容包括RNN基础以及求解算法、LSTM以及变种GRU、RNN相关应用。本节主要介绍 1.RNN基础知识介绍 2.RNN模型优化以及存在的问题 3.RNN模原创 2016-11-20 11:28:58 · 17105 阅读 · 3 评论 -
深度学习(Deep Learning)读书思考七:循环神经网络二(LSTM)
概述原创 2016-11-20 11:29:30 · 5810 阅读 · 0 评论 -
深度学习(Deep Learning)读书思考八:循环神经网络三(RNN应用)
概述通过前两小节的介绍,可以清楚的了解RNN模型的网络结构以及LSTM。本小节主要介绍RNN其他变形以及应用,包括 1.GRU单元 2.序列到序列(Seq2Seq)模型 3.注意力(Attention)模型 4.RNN在NLP中的应用 5.总结GRU单元GRU通过引入重置门和遗忘门来解决长期依赖问题,相对于LSTM有更少参数并且在某些问题上,效果好于L原创 2016-11-20 11:30:18 · 7587 阅读 · 0 评论