- 参考简单版代码:
https://github.com/Kyubyong/transformer
遗留问题:
· 最后输出层不新增参数,而是直接reshape
· train部分没发现shifting的代码,句子是怎么移动的
- 官方版:
https://github.com/tensorflow/models/blob/master/official/nlp/modeling/layers/transformer.py
遗留问题:
· 最后输出层不新增参数,而是直接reshape
· train部分没发现shifting的代码,句子是怎么移动的