算法理解
qq_41133677
这个作者很懒,什么都没留下…
展开
-
RNN
浅谈对RNN网络的理解 1、RNN网络的结构及原理这是RNN经典网络结构,一句话解释RNN就是一个单元的重复使用,RNN(Recurrent Nerual Network)都在说rnn是在有序数据上执行的解决信息序列问题的。这里的“序列”究竟是神马??在识别一张图片时是怎么工作的??个人理解就是,如果给定一张大小为16*20的图片,在将图片看成序列时,序列的长度为20,每一时刻的...原创 2019-02-14 17:21:43 · 316 阅读 · 1 评论 -
浅谈LSTM(long-short Time Memory)
LSTM存在三个门控,“记忆门”,“遗忘门”,“输出门”。它有一个特殊的状态就是细胞状态,类似一个“传送带”,信息在上面传输保持不变很容易,用来记忆之前的信息。细胞状态的更新来自记忆门和遗忘门以及上一时间刻的细胞状态。LSTM是为了解决RNN梯度消失的一种改进。LSTM可以理解为“延长短时记忆”,“遗忘门”表示遗忘上一时刻细胞状态的概率,(0:遗忘,1:记忆),即:它会根据当前时刻的输入,上一时刻...原创 2019-02-15 11:23:10 · 703 阅读 · 0 评论 -
Batch Normalization
对数据做normalization预处理的目的就是使数据变换范围不太大。神经网络在训练时,标准化输入可以提高网络训练速度。由于在训练过程中的参数的变化会导致网络后续层的输入的分布发生变化,这种现象称之为internal covariate shift。网络训练的过程又要使每一层适应输入的分布,因此我们必须降低学习率,小心的初始化。Batch Normalization 的 batch 是批数据,...原创 2019-02-15 19:08:37 · 223 阅读 · 0 评论 -
CTC(Connectionist Temporal Classification)连接时序分类
CTC是一种用于序列建模的工具,训练样本无需对齐,其核心是定义了特殊的目标函数。CTC的原理CTC的训练过程CTC特点:引入blank字符,解决有些位置没有字符的问题通过递推,快速计算梯度,引入前后向计算方法...原创 2019-02-18 10:49:30 · 3597 阅读 · 0 评论