TorchText

TorchText是一款优秀的NLP数据处理工具，可以方便的对文本进行预处理，例如截断补长、构建词表等。但是因为nlp的热度远不如cv，对于torchtext介绍的相关博客数量也远不如torchvision

torchtext对数据的处理可以概括为Field，Dataset和迭代器三部分。

 

 

Field对象

Field对象指定要如何处理某个字段.

 

Dataset

Dataset定义数据源信息.

 

迭代器

迭代器返回模型所需要的处理后的数据.迭代器主要分为Iterator, BucketIerator, BPTTIterator三种。

 

 

torchtext还自带Multi30k数据集，这是一个包含约30000个平行的英语、德语和法语句子的数据集，每个句子包含约12个单词。