Language Modeling with Gated Convolutional Networks ( GLU )理解
简介门控线性单元(GLU)是卷积神经网络中的一种门控机制,与循环神经网络的门控循环单元(GRU)不同的的是更加进行梯度容易传播,不易造成梯度消失或者梯度爆炸。而且在计算时间上也大幅度减少。GLU计算过程卷积网络就是对输入进行卷积以获得H = f ∗ w,因此没有时间依赖性,这使得在句子的单个单词上更容易并行化。这个计算过程将根据多个先前单词来计算每个上下文。 与递归网络相比,上下文的大小是有...
原创
2020-02-26 16:23:32 ·
4661 阅读 ·
0 评论