weixin_38788478的博客

原创 LLM概述

语言模型（LM）目标：建模自然语言的概率分布Pw1w2⋯wmPw1​w2​⋯wm​：表示词序列w1w2⋯wmw1​w2​⋯wm​作为一个句子出现的可能性大小Pw1w2⋯wmPw1Pw2∣w1Pw3∣w1w2⋯Pwm∣w1w2⋯wm−1∏i1mPwi∣w1w2⋯wi−1Pw1​w2​⋯wm​Pw。