torch text -- dataset 迷魂阵
处理文本
核心
怎样使得训练样本成为一个个 batch, 也就是怎样自己做一个迭代器,使得训练更加方便
Fields – 你要我怎样
在语言模型里面,我们一般会预测下一个单词的出现,这样的无监督学习,天然有label。在情感分析,文本分类里面,label 有自己的column, 所以处理的方式是会不同。不同的field 是告诉框架,每个不同的column 是怎样处理的。
Field api
s...
原创
2020-01-03 10:31:00 ·
190 阅读 ·
0 评论