语言模型
文章平均质量分 91
fangyibo24
这个作者很懒,什么都没留下…
展开
-
语言模型|大模型的预训练任务
大模型的预训练主要通过设计【自监督】预训练任务,从无标注数据中学习语义知识和世界知识。原创 2024-09-22 14:14:25 · 697 阅读 · 0 评论 -
语言模型|主流的解码方法(采样方法)
在采用自回归范式的文本生成任务中,语言模型将依次生成一组向量并将其解码为文本,将这组向量解码为文本的过程被成为语言模型解码。原创 2024-09-19 00:01:14 · 523 阅读 · 0 评论 -
语言模型|n-grams语言模型
对于一个句子w1Nw_{1:N}w1Nw1w2w3wNw1w2w3...wNwiw_{i}wi代表词,i12Ni12...N。在真实的语言模型中,wiw_{i}wi也可以是token等形式,例如词语。句子w1Nw_{1:N}w1NPn−gramsw1N∏inNCwi−n1iCwi−n1i−1Pn−grams。原创 2024-09-15 15:01:59 · 797 阅读 · 0 评论