fairseq | 创建batch iterator部分逻辑源码阅读
使用的fairseq version:1.0
根据dataset创建batch iterator的代码位于:tasks/fairseq_task.py:FairseqTask.get_batch_iterator, 代码逻辑和添加的代码注释如下
def get_batch_iterator(
self,
dataset,
max_tokens=None,
max_sentences=None,
max_positions
原创
2021-03-05 11:24:52 ·
1020 阅读 ·
1 评论