本篇对SENTA中的BaseDataSetReader进行源码分析。
BaseDataSetReader:将样本中数据组装成一个py_reader, 向外提供一个统一的接口。
核心内容是读取明文文件,转换成id,按py_reader需要的tensor格式灌进去,然后通过调用run方法让整个循环跑起来。 py_reader拿出的来的是lod-tensor形式的id,这些id可以用来做后面的embedding等计算。
class BaseDataSetReader(object):
def __init__(self, name, fields, config):
self.name = name
self.fields = fields
self.config = config # 常用参数,batch_size等,