![](https://img-blog.csdnimg.cn/7a7007ee79894108a084e43cf7a61316.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习基础
文章平均质量分 96
深度学习基础
浅梦s
浙大计算机硕士,现于阿里巴巴担任算法工程师。公众号:浅梦的学习笔记,Github:https://github.com/shenweichen
展开
-
深度学习中的优化方法
本文介绍了深度学习中优化的若干问题,包括小批量梯度下降,SGD和动量方法,自适应学习率算法,二阶近似算法,批标准化和坐标下降等原创 2017-10-03 15:27:00 · 10746 阅读 · 2 评论 -
深度学习中的正则化方法
深度学习正则化方法,包括参数范数惩罚,Dropout,数据增强,early stopping等。原创 2017-10-01 23:39:09 · 2804 阅读 · 1 评论 -
深度学习中激活函数的选择
本文介绍了深度学习引入非线性激活函数的原因,和几种常用的激活函数,sigmoid,tanh,relu,leaky relu,prelu,maxout.原创 2017-10-01 22:38:07 · 3077 阅读 · 1 评论 -
深度学习之参数初始化策略
本文介绍了深度学习中参数的初始化对训练的影响以及常用参数初始化策略,标准初始化,Xavier初始化,He初始化。原创 2017-10-13 22:09:43 · 16820 阅读 · 1 评论 -
深度学习之循环神经网络
本文介绍了RNN,双向RNN,seq2seq架构,LSTM,GRU等,以及长期依赖的解决方案,截断梯度等。原创 2017-10-05 14:21:23 · 10668 阅读 · 1 评论 -
深度学习之卷积网络
本文介绍了卷积网络的三个重要思想,稀疏连接,参数共享,等变表示。介绍了卷积和池化,以及输出维度和参数量的计算。原创 2017-10-04 15:45:58 · 3212 阅读 · 1 评论