![](https://img-blog.csdnimg.cn/20210415203351102.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
NLP-SA
文章平均质量分 88
NLP-情感分析-学习记录
王泽的随笔
这个作者很懒,什么都没留下…
展开
-
002_wz_NLP_LSTM和LSTMCell
LSTM介绍 先去看RNN LSTM使用“门”(sigmoid函数)解决了RNN不能记忆长距离信息的问题,使用累加方式的损失解决了RNN梯度爆炸/弥散的问题 LSTM中有三个门,分别是: 1.forget gate(遗忘门) 遗忘门用来控制记住以前记忆(Ct−1C_{t-1}Ct−1)的程度 2.input gate(输入门) 输入门用来控制记忆此时刻输入数据(XtX_tXt)的程度 此时在经过了遗忘门和输入门,我们可以拿到本次的记忆数据CtC_tCt 这里介绍一下,ftf_tft是遗忘门,原创 2021-04-18 10:17:55 · 304 阅读 · 0 评论 -
001_wz_NLP_RNN和RNNCell
torch.nn.RNN 输入参数: input_size:即对数据做embedding的数据维度feature_len hidden_size:RNN的隐层维度 num_layers:RNN网络的层数,默认为1层 RNN的前向传播 out, h_t = RNN(x, h_0) x:输入数据,维度为(seq_len, batch_size, feature_len) h_0/h_t:隐藏输出,维度为(num_layers, batch_size, hidden_size) out:为每一时刻隐层输出的列表原创 2021-04-17 15:51:16 · 276 阅读 · 0 评论