Torchtext基础知识

一、Torchtext组建的基本构造

Field: 主要包含以下数据预处理的配置信息，比如指定的分词方法，是否转成小写，起始与结束字符，补全字符以及词典等等
LabelField: 用于指定标签类别的种类以及标签的表示方式
Dateset: 它是继承了Pytorch的Dataset,用于加载数据，提供了TabularDataset可以指定路径，格式，Field信息就可以方便的完成数据加载。如果部分数据无法使用TabularDateset进行加载，则可以继承Dataset类别进行自建类，但最后必须返回一个Examples够迭代类进行划分。同时torchtext还提供预先构建的常用数据集的Dataset对象 ，可以直接加载使用，splits方法可以同时加载训练集，验证集，测试集。
Iterator: 主要是数据输出的模型的迭代器，可以支持batch定制

二、Field组建

Field 包含一些文本处理的通用的参数设置，同时还包含了一个词典的对象，可以把文本数据表示为数字类型，进而可以把文本表示为需要的tensor类型。
1 、Field的对象主要参数包含：
sequential：是否把数据表示成序列；如果是False，不能使用分词；默认值为True
use_vocab：是否使用词典对象；如果是False，数据的类型必须已经是数值类型；默认值为True
init_token࿱