因果语言模型(Causal Language Model) 与序列到序列模型(Seq2Seq)的区别与联系
其实有一个容易搞糊涂的点就是,Seq2Seq的decoder和因果语言模型的decoder的原理是几乎完全一样的,那么为什么Seq2Seq不能叫自回归(auto-regression)呢?作为一个NLP Beginner,也做了不少模型训练任务了,但居然到现在都没有搞清楚这两个概念的区分,一直感觉都是transformer,无非是有的encoder-decoder有的是decoder-only。是的,所以关键是建模的方式不同,OpenAI的GPT系列就坚持建模decoder-only的方法。
原创
2023-07-06 15:52:46 ·
2826 阅读 ·
4 评论