语言模型（词向量）

最新推荐文章于 2024-07-27 19:57:38 发布

lgy54321

最新推荐文章于 2024-07-27 19:57:38 发布

阅读量1.9k

点赞数 1

分类专栏： NLP 机器学习面试

本文链接：https://blog.csdn.net/lgy54321/article/details/94482248

版权

语言模型是统计语言学的基础，用于估算语句的概率。N-gram模型是常见方法，但面临稀疏性问题，常使用数据平滑处理。Word2Vec，特别是CBOW和Skip-gram模型，解决了词向量表示，使得相似词在向量空间中接近。

摘要由CSDN通过智能技术生成

语言模型

语言模型旨在为语句的联合概率函数P(w1,…,wT)建模, 其中wi表示句子中的第i个词。语言模型的目标是，希望模型对有意义的句子赋予大概率，对没意义的句子赋予小概率。这样的模型可以应用于很多领域，如机器翻译、语音识别、信息检索、词性标注、手写识别等，它们都希望能得到一个连续序列的概率。
对语言模型的目标概率P(w1,…,wT)，如果假设文本中每个词都是相互独立的，则整句话的联合概率可以表示为其中所有词语条件概率的乘积，即：

P(w1,...,wT)=∏t=1TP(wt)

然而我们知道语句中的每个词出现的概率都与其前面的词紧密相关, 所以实际上通常用条件概率表示语言模型：

在这里插入图片描述

N-gram neural model

n-gram是一种重要的文本表示方法，表示一个文本中连续的n个项。基于具体的应用场景，每一项可以是一个字母、单词或者音节。 n-gram模型也是统计语言模型中的一种重要方法，用n-gram训练语言模型时，一般用每个n-gram的历史n-1个词语组成的内容来预测第n个词。
我们在上文中已经讲到用条件概率建模语言模型，即一句话中第t个词的概率和该句话的前t−1个词相关。可实际上越远的词语其实对该词的影响越小，那么如果考虑一个n-gram, 每个词都只受其前面n-1个词的影响，则有：
在这里插入图片描述
给定一些真实语料，这些语料中都是有意义的句子，N-gram模型的优化目标则是最大化目标函数:

其中f(wt,wt−1,…,wt−n+1)表示根据历史n-1个词得到当前词wt的条件概率，R(θ)表示参数正则项

图2展示了N-gram神经网络模型，从下往上看，该模型分为以下几个部分： - 对于每个样本，模型输入wt−n+1,…wt−1, 输出句子第t个词在字典中|V|个词上的概率分布。
每个输入词wt−n+1,…wt−1首先通过映射矩阵映射到词向量C(wt−n+