2021SC@SDUSC
这篇博客我们讲来分析field-reader这部分代码
首先是base-field-reader.py这个文件 他是作用于field的reader,主要是定义py_reader的格式,完成id序列化和embedding的操作
这个custom-field-reader.py文件是
通用文本(string)类型的field_reader,文本处理规则是,文本类型的数据会自动添加padding和mask,并返回length
其中定义了这些函数,作用分别是:
param field_config
初始化reader格式 :return: reader的shape[]、type[]、level[]
将一个batch的明文text转成id :param batch_text: :return:
静态图调用的方法,生成一个dict, dict有两个key:id , emb. id对应的是pyreader读出来的各个field产出的id,emb对应的是各个 field对应的embedding :param fields_id: pyreader输出的完整的id序列 :param start_index:当前需要处理的field在field_id_list中的起始位置 :param need_emb:是否需要embedding(预测过程中是不需要embedding的) :return:
获取当前这个field在进行了序列化之后,在field_id_list中占多少长度 :return:
这次的代码分析就先分析到这,剩下的代码由下篇博客再分析~