pytorch
文章平均质量分 88
小企鹅爱吃鱼
这个作者很懒,什么都没留下…
展开
-
Pytorch中的RNN之pack_padded_sequence()和pad_packed_sequence()
Pytorch中的RNN之pack_padded_sequence()和pad_packed_sequence()为什么有pad和pack操作?先看一个例子,这个batch中有5个sample如果不用pack和pad操作会有一个问题,什么问题呢?比如上图,句子“Yes”只有一个单词,但是padding了多余的pad符号,这样会导致LSTM对它的表示通过了非常多无用的字符,这样得到的句子表示就会有误差,更直观的如下图:那么我们正确的做法应该是怎么样呢?在上面这个例子,我们想要得到的表示仅仅是LS转载 2021-03-24 09:24:39 · 446 阅读 · 0 评论 -
task05--卷积神经网络
卷积神经网络卷积神经网络中,主要是卷积层和池化层,并解释填充、步幅、输入通道和输出通道的含义。卷积核的尺寸通常小于输入数组,卷积核在输入数组上滑动,在每个位置上,卷积核与该位置处的输入子数组按元素相乘并求和,得到输出数组中相应位置的元素。图1展示了一个互相关运算的例子,阴影部分分别是输入的第一个计算区域、核数组以及对应的输出。[外链图片转存中…(img-bOsyWnQN-1582011106...原创 2020-02-18 18:23:32 · 285 阅读 · 0 评论 -
task03--循环神经网络进阶
循环神经网络进阶1、GRURNN存在的问题:梯度较容易出现衰减或爆炸(BPTT)⻔控循环神经⽹络:捕捉时间序列中时间步距离较⼤的依赖关系RNN:Ht=ϕ(XtWxh+Ht−1Whh+bh)H_{t} = ϕ(X_{t}W_{xh} + H_{t-1}W_{hh} + b_{h})Ht=ϕ(XtWxh+Ht−1Whh+bh)GRU:Rt=σ(XtWxr+Ht−1Wh...原创 2020-02-15 16:37:49 · 169 阅读 · 0 评论