本文深入剖析了SENTA中BaseDataSetReader的实现，它负责将数据转换为py_reader所需的tensor格式。核心功能包括读取文本文件，将内容转为id，通过py_reader生成lod-tensor，用于后续的embedding计算。文章详细介绍了必要的参数和方法，如初始化py_reader、构造字段id及embedding，以及数据生成器的设置。
本篇对SENTA中的BaseDataSetReader进行源码分析。
BaseDataSetReader:将样本中数据组装成一个py_reader, 向外提供一个统一的接口。
核心内容是读取明文文件，转换成id，按py_reader需要的tensor格式灌进去，然后通过调用run方法让整个循环跑起来。 py_reader拿出的来的是lod-tensor形式的id，这些id可以用来做后面的embedding等计算。
class BaseDataSetReader(object):
def __init__(self, name, fields, config):
self.name = name
self.fields = fields
self.config = config # 常用参数，batch_size等，
最低0.47元/天 解锁文章
843
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
