对语言模型（Language Model）与n-gram的理解

最新推荐文章于 2023-06-06 11:31:08 发布
最新推荐文章于 2023-06-06 11:31:08 发布
阅读量1.5k 收藏 5
点赞数 1
分类专栏： JDNLP 历程 文章标签： 自然语言处理 人工智能 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31267769/article/details/108187202
版权
本文介绍了语言模型的重要性和定义，重点讲解了n-gram模型，包括链式法则、马尔可夫假设、拉普拉斯平滑以及如何选择n值。通过n-gram解决了长句子概率计算的复杂性，并探讨了语言模型的评价标准——困惑度。
摘要由CSDN通过智能技术生成

目录

1 语言模型（Language  Model）的定义

2 N-gram

2.1 链式法则（chain rule）

2.2 马尔可夫假设和n-gram

2.3 拉普拉斯平滑（Laplace Smoothing）

2.4 语言模型的评价标准（n如何选取？）

1 语言模型（Language  Model）的定义

  • 定义：语言模型是一个单纯的、统一的、抽象的形式系统，语言客观事实经过语言模型的描述，比较适合于电子计算机进行自动处理，因而语言模型对于自然语言的信息处理具有重大的意义。
  • 数学角度理解：语言模型就是对于一个语素序列 w_1,w_2,w_3,...w_n，计算出这个语素序列的概率，即： p(w_1,w_2,w_3,...w_n)（语素指语言中最小的音义结合体，一般来说就是独立的词）

简单来说就是通过一些数学手段，计算出对于一个句子的概率大小，概率大这句话就是正确的，概率小这句话就是错误的。例如：p(I, Love, NLP)>p(Love, NLP, I)，这里是存在语序的。

语言模型主要有三种类型：1. 生成性模型，2. 分析性模型，3. 辨识性模型。这里我的理解就是NLG和NLU，NLG就是根据意思生成文本或语音，NLU就是根据语音或文本理解它的意思，第三个是前两者的结合体从而实现更强大的功能。

2 N-gram

2.1 链式法则（chain rule）

首先需要知道链式法则：

p(a,b,c) =p(a)*p(b|a)*p(c|a,b)

把上面提到的语言模型p(w_1,w_2,w_3,...w_n)带入可以得到:

p(w_1,w_2,w_3,...w_n) =p(w_1)*p(w_2|w_1)*p(w_3|w_1,w_2)*...*p(w_n|w_1,w_2,w_3,...,w_{n-1})

其中 

最低0.47元/天 解锁文章
我对算法一无所知
关注
专栏目录
从零实现深度学习框架——N-Gram语言模型(一)
日积月累，天道酬勤
04-24 3649
主要介绍了N-Gram语言模型的基本知识。
ngram模型 java_自然语言处理中的N-Gram模型详解
weixin_36238706的博客
02-27 1634
N-Gram(有时也称为N元模型)是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。本文将从此开始，进而向读者展示N-Gram在自然语言处理中的各种powerful的应用。基于N-Gram模型定义的字符串距离利用N-Gr...
语言模型（language model）
qq_36134437的博客
11-18 5345
一、统计语言模型 1、什么是统计语言模型？ 统计语言模型是一个单词序列上的概率分布，对于一个给定长度为m的序列，它可以为整个序列产生一个概率 P(w_1,w_2,…,w_m) 。其实就是想办法找到一个概率分布，它可以表示任意一个句子或序列出现的概率。 目前在自然语言处理相关应用非常广泛，如语音识别(speech recognition) , 机器翻译(machine translation), 词...
N-gram 语言模型
步入人工智能
05-26 5075
本内容主要介绍统计语言模型——N-gram（n 元）模型。
N-gram Language Model
weixin_43069769的博客
07-15 288
def slide(data,N,start,end,m,n): return np.array([data[i,j] for i,j in zip(start,end-N) if j > N and j < n ]) def prob_slide(word,original,dim=1,direction='left'): m,n = original.shape delete_rules = (original==word).any(axis=1) f
JM Book chapter3——N-gram Language Models
JasmineRen的博客
10-05 469
JM Book 第三章内容总结，计算语言基础课程作业。
语言模型 (language model) 之n-gram LM
鲲之大一锅炖不下
10-19 4278
高山万丈，从平路走起 语言模型是通过一个语音识别器来定义一系列的词的这么个东西。一些语言模型还会给每一个词序列一个权重或者概率，来当做这个词序列的language score，来彰显词序列的重要程度。 有了语言模型，不符合语法规则或者看着就不像句子的输出就可以直接被排除掉，识别错误的情况也会大大减小。毕竟声学模型并不会考虑输出的像不像一句话，它只是听概率的话。 今儿来总结下 n-gram la...
N-gram语言模型
06-07
N-gram语言模型是一种在自然语言处理中广泛应用的概率统计模型，它通过分析文本数据来预测一个序列中的下一个词。在本项目中，我们将探讨如何使用Python实现N-gram模型，并特别关注Kneser-Ney平滑算法，这是一种改进...
N-gram-Language-Model
03-31
N-gram语言模型是自然语言处理领域中一种广泛使用的统计技术，用于预测序列中的下一个元素，比如文本中的下一个单词。这种模型基于一个简单的假设：给定一个单词序列，当前单词出现的概率只与序列中前面的有限个单词...
NLP（2）N-gram language Model （缺了一些平滑的方式介绍）
qq_42902997的博客
06-06 412
在自然语言处理（NLP）中，语言模型（Language Models）是用来预测文本序列中下一个单词或者字符的概率分布的模型。语言模型的主要目标是捕捉语言的统计规律，以此来生成自然语言。这是最早的语言模型之一，主要用于捕捉词序列中的n-1阶依赖关系。然而，N-gram模型对于长距离依赖的处理不佳，且模型大小随着n的增大而急剧增大。HMM是一种统计模型，用于描述一个含有未知参数的马尔可夫过程。在NLP中，HMM常被用于词性标注和命名实体识别等任务。
对语言模型N-gram的理解
深圳湾刘能的博客
07-24 1084
今天我们一起来学习一下语言模型N-gram，首先我们来用数学的方法来描述一下语言的规律，这个数学模型就是我们在自然语言处理中的统计语言模型（Statistical Language Model）。在自然语言处理中，所谓的一个句子是否合理通顺，就看这个句子的可能性，这里的可能性就要用概率来衡量。同一种意思的句子，不同种的表达形式，哪种形式出现的概率最大，那么就表示这个句子是最合理的。 在每一个句子...
n-gram语言模型
weixin_42184866的博客
03-03 267
语言模型就是对一句话，判断它的概率，也就是它存在的合理性 n-gram分为传统n-gram模型，神经网络n-gram模型 传统n-gram（即统计n-gram） 一句话的概率就是它所有单词的联合概率 p(s)=p(w1,w2,...,wm)p(s)=p(w_1,w_2,...,w_m)p(s)=p(w1​,w2​,...,wm​),m为句子中的单词数量， 根据链式概率,则：p(s)=p(w1)p(...
语言模型--n-gram解读
qq_33472146的博客
06-12 1879
n元语法是一个非常经典的语言模型。 一、N-Gram的原理 N-Gram是基于一个假设：第n个词出现与前n-1个词相关，而与其他任何词不相关。（这也是隐马尔可夫当中的假设。）整个句子出现的概率就等于各个词出现的概率乘积。各个词的概率可以通过语料中统计计算得到。假设句子T是有词序列w1,w2,w3…wn组成，用公式表示N-Gram语言模型如下： P(T)=P(w1)*p(w2)*p(w3)***p(...
NLP：n-gram模型
热门推荐
Puzzle的博客
09-22 1万+
N-Gram N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念。主要有两个重要应用场景： （1）人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。 （2）用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。 习惯上，1-gram叫unigram，2-gram称为bigram，3-gram是trigram。还有four-gram、five-gram等，不过大于n>5的应用很少见。常用的是Bi-gram (N...
简单理解语言模型与N-gram语言模型
weixin_44151089的博客
02-18 997
简单理解语言模型 语言模型简单介绍 语言模型：为单词序列分配概率的模型。即对于单词序列w1, w2, w3,..., wn,计算P(w1, w2, w3,..., wn)的模型就是语言模型。 语言模型作用：对于一句话中的词序列，它判断这一句是否在语法上讲得通。或者预测单词序列的下一个词是什么。 语言模型的计算公式： n-gram model（n元模型） n元模型的思想就是： 出现...
CH1-语言模型和解码算法
听了个听儿
01-27 996
本文是cs224n关于nlg系列课程第一课，主要介绍了NLG相关背景、相关的语言模型和几种比较常见的解码算法。 简单介绍了greedy search、beam search、sample几种解码算法。
统计语言模型--整理中
ggxxkkll的专栏
03-16 8339
语言模型（Language Model）是描述自然语言内在规律的数学模型。构造语言模型是计算语言学的核心。在实践中，语言模型广泛地用于语言识别、手写体文字识别、机器翻译、键盘输入、信息检索等研究领域。 　　语言模型可分为传统的文法型语言模型和基于统计的语言模型。文法型语言模型是人工编制的语言学文法，文法规则来源于语言学家掌握的语言学知识和领域知识，但这种语言模型不能处理大规模真实文本。为满足这一
NLP进化史系列之语言模型
Zack的博客
06-27 6459
前言： 从20世纪70年代的统计语言模型，到2003年的神经网络语言模型，再到2018年刷新各种NLP任务记录的BERT，再到今年6月份的XLNet再次刷新各种记录，带你一起领略其中奥妙。 目录 1、N-gram语言模型 2、神经网络语言模型(NNLM) 3、One-hot 4、Word2vec 5、ELMo 6、Open AI GPT 7、BERT 8、XLNet 9、Attention机制 ...
R语言的n-gram模型
最新发布
03-28
n-gram模型是一种用于自然语言处理的统计语言模型，用于预测一个词语在给定前文的情况下出现的概率。在R语言中，可以使用`quanteda`包来实现n-gram模型。 首先，需要安装`quanteda`包，可以使用以下命令进行安装： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值