DL
三少Algorithm
个人知乎:https://www.zhihu.com/people/ma-zong-3/activities
展开
-
RNN
先放四张RNN的示意图上图中左边是RNN模型没有按时间展开的图,如果按时间序列展开,则是上图中的右边部分。我们重点观察右边部分的图。 这幅图描述了在序列索引号t 附近RNN的模型。其中: 1)x(t)代表在序列索引号t 时训练样本的输入。同样的,x(t-1)和 x(t+1)代表在序列索引号t−1和t+1时训练样本的输入。 2)h(t)代表在序...原创 2019-04-03 23:32:05 · 2878 阅读 · 0 评论 -
LSTM和GRU
Long Short Term 网络,一般就叫做 LSTM ,是一种 RNN 特殊的类型,可以学习长期依赖信息。LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为,而非需要付出很大代价才能获得的能力! 所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中,这个重复的模块只有一个非常简单的结构,例如一个 tanh 层。...原创 2019-04-03 23:37:49 · 508 阅读 · 0 评论 -
深度学习各种优化方法总结
#!/usr/bin/env python3# encoding: utf-8"""@version: 0.1@author: lyrichu@license: Apache Licence @contact: 919987476@qq.com@site: http://www.github.com/Lyrichu@file: lyrichu_2...原创 2019-04-05 16:59:31 · 188 阅读 · 0 评论