AI
文章平均质量分 93
南瓜派PumpkinPie
这个作者很懒,什么都没留下…
展开
-
10分钟入门transformer
理解本文需要以下基础知识前向神经网络attentionencoder-decordersequence to sequence learning背景介绍基于RNN的神经网络在自然语言处理领域一直处于领先地位。RNN衍生的两个方法LSTM和GRU很好的解决了梯度消失的问题,因此基于RNN的神经网络成为sequence to sequence learning的优先选择。Ilya Sutskever[6]等人在2014年将encoder-decoder用于机器翻译。先用一个LSTM模型编码输入原创 2021-02-03 14:33:56 · 631 阅读 · 0 评论 -
pytorch collate_fn函数实现变长序列 - dynamical padding
注意:这里的batch指的是mini-batch两种实现序列(文本、日志)批处理的方法固定长度的batches(uniform length batches)所有batch内序列的长度一样。比如seqs = [[1,2,3,3,4,5,6,7], [1,2,3], [2,4,1,2,3], [1,2,4,1]]batch_size = 2那么最大序列长度取8,如果不足8用0填充到该长度batch1 = [[1, 2, 3, 3, 4, 5, 6, 7], [1, 2, 3, 0, 0, 0,原创 2020-10-01 13:46:50 · 1379 阅读 · 0 评论