![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
RNN
程序猿的探索之路
走好人生中的每一步路!
展开
-
RNN / language modelling and sequence generation
原创 2021-04-18 10:48:19 · 77 阅读 · 0 评论 -
RNN的前向传播函数
程序:import torch as tfrom torch import nnfrom torch.autograd import Variable as Vt.manual_seed(1000)# 输入 batch_size=3,序列长度都为2,序列中每个元素占4维input=V(t.randn(2,3,4))print(input)# lstm 输入向量4维,3个隐藏元,1层lstm=nn.LSTM(4,3,1)# 初始状态:1层,batch_size=3,3...原创 2021-05-11 16:35:32 · 1198 阅读 · 2 评论 -
RNN的原理和公式
正常的LSTM:资料:原创 2021-05-11 11:52:22 · 1035 阅读 · 0 评论 -
RNN 原理
传统的神经网络长度方面不适用(传统的都是等长的),传统的神经网络不能联系上下文。所以处理sequence data 需要新的模型 RNN。原创 2021-04-13 17:49:08 · 194 阅读 · 0 评论 -
rnn的类型
原创 2021-04-13 21:31:33 · 219 阅读 · 0 评论 -
RNN的forward propagation and backpropagation
原创 2021-04-13 21:26:36 · 211 阅读 · 0 评论 -
Speech recognition question 使用 attention model
原创 2021-04-20 18:25:45 · 110 阅读 · 0 评论 -
RNN word representation / featurized representation
原创 2021-04-18 17:29:27 · 119 阅读 · 0 评论 -
RNN error analysis on beam search
原创 2021-04-19 20:18:15 · 103 阅读 · 0 评论 -
RNN select most likely sentence greedy search (no soft max) beam search (soft max)
注意:增加log 提升相似度乘积,解决了在近似度求解的过程中精度丢失严重的问题。进一步改变区间,提升计算的效果。原创 2021-04-19 17:24:27 · 96 阅读 · 0 评论 -
Bleu score(Bilingual Evaluation Understudy) 双语评价替补评分
bilingual美:[baɪ'lɪŋɡwəl] 英:[baɪ'lɪŋɡwəl]adj.会说两种语言的;用两种语言(写)的 n.能讲两国话的人evaluation美:[ɪ.vælju'eɪʃn] 英:[ɪ.vælju'eɪʃ(ə)n]n.评价;【数】赋值 网络评估;估价;评监understudy美:['ʌndər.stʌdi] 英:['ʌndə(r).stʌdi]n.候补演员;替角 v.排练当候补演员;做替角 网络预备演员;替角儿;替身...原创 2021-04-19 20:37:29 · 412 阅读 · 0 评论 -
RNN attention model intution
注:attention model intution 用到了 bidirection RNN ,并减少了输出词对于输入词关注的长度,以提升计算的效果。注: ... 先不生成 , 往回走的时候,a-left a-right 都有了,再从后到左逐一生成。注:第一个单词。注:第二个单词。...原创 2021-04-20 18:15:45 · 203 阅读 · 0 评论 -
RNN trigger word detection
原创 2021-04-20 18:32:20 · 134 阅读 · 0 评论 -
RNN GRU (简洁) LSTM(灵活) BRNN(双向) Deep RNN(hidden layers)
RNN:GRU:LSTM:BRNN:需要一个完整的sentence,完整的句子,不能处理实时句子。原创 2021-04-18 16:42:31 · 230 阅读 · 0 评论