![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
代码阅读
月夜长影
专注技术学习。
展开
-
fairseq | 创建batch iterator部分逻辑源码阅读
使用的fairseq version:1.0根据dataset创建batch iterator的代码位于:tasks/fairseq_task.py:FairseqTask.get_batch_iterator, 代码逻辑和添加的代码注释如下 def get_batch_iterator( self, dataset, max_tokens=None, max_sentences=None, max_positions原创 2021-03-05 11:24:52 · 1008 阅读 · 1 评论 -
源码阅读 | Python中copy.deepcopy原理
介绍deepcopy是用来进行深层复制的, 但是在实际中可能遇到, 复制一个对象后, 某些属性没了, 因此看看源码, 顺便记录下来.Python 版本: 3.6copy模块位置: copy.py (Python的lib包里面)源码注释"""deepcopy的主要逻辑在下面的函数.deepcopy的文档: https://docs.python.org/3/library/copy.html"""def deepcopy(x, memo=None, _nil=[]): """Dee原创 2020-12-29 21:08:56 · 1092 阅读 · 2 评论 -
fairseq | fairseq beam search 源码阅读笔记
说明使用的fairseq版本为 0.6.2fairseq 进行beam search的逻辑位于 fairseq.sequence_generator.SequenceGanerator:generateSequenceGenerator负责处理整个搜索的过程, 大致逻辑为对每个时刻, 调用self.search.step获取可能的候选, 将搜索到EOS的结果加入到结果候选中, 更新参数并进行下一步的搜索.self.search.step负责具体的搜索token的策略, 包括beam search原创 2020-10-02 19:50:20 · 2291 阅读 · 0 评论