2021SC@SDUSC
接着上篇博客分析
这个文件里写的是 使用ernie的文本类型的field_reader,用户不需要自己分词 处理规则是:自动添加padding,mask,position,task,sentence,并返回length
这个文件里写的是 基于ernie的序列标注专用field_reader,处理规则和custom_text_field一样,自动添加padding和mask,并返回length 不同的地方在于ErnieSeqlabelLabelFieldReader会在序列首尾分别添加UNK_ID来占位,以保证和ernie序列化过程中的[CLS]和[SEP]对应
使用ernie的文本类型的field_reader,用户不需要自己分词 处理规则是:自动添加padding,mask,position,task,sentence,并返回length
最基本的文本(text)类型的field_reader 不需要embedding,不需要mask,只返回原始src_id(添加了padding)和length
以上就是对这些的讲解分析了,下期继续分析代码