Causal Language Modeling和Conditional Generation有什么区别
在这种建模方法中,模型可以是一个encoder-decoder结构,如序列到序列(seq2seq)模型,也可以是基于自回归的方法,如T5模型。在这种建模方法中,模型试图预测给定上下文中的下一个单词,该上下文通常包括在当前单词之前的所有单词。在这种建模方法中,模型根据给定的输入(可能是文本、图片等)生成符合条件的输出。总之,因果语言建模主要关注于生成连贯、自然的文本,而条件生成关注于生成满足特定条件或任务要求的文本。因果语言建模的一个经典应用是GPT(如GPT-2和GPT-3),它主要用于生成连贯的文本。
原创
2023-03-21 16:42:28 ·
5071 阅读 ·
0 评论