NLP的文本预处理需要经过分词,建立词典,单词转索引值,转tensor,AllenNLP定义了若干类处理这一过程,因此我用图的方式记录这些类的关系,将重要的几点标红,这样看着清楚。
在vocabulary.py定义了
DEFAULT_NON_PADDED_NAMESPACES = ("*tags", "labels")
命名空间中有tags,*labels的不会加padding
参考allennlp/tutorials/notebooks/中的示例。
NLP的文本预处理需要经过分词,建立词典,单词转索引值,转tensor,AllenNLP定义了若干类处理这一过程,因此我用图的方式记录这些类的关系,将重要的几点标红,这样看着清楚。
在vocabulary.py定义了
DEFAULT_NON_PADDED_NAMESPACES = ("*tags", "labels")
命名空间中有tags,*labels的不会加padding
参考allennlp/tutorials/notebooks/中的示例。