第三章 3、4 语言模型及其平滑项处理

最新推荐文章于 2024-04-18 09:44:33 发布
最新推荐文章于 2024-04-18 09:44:33 发布
阅读量501 收藏 2
点赞数
分类专栏： ● 人工智能 # 自然语言处理 NLP 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38888209/article/details/104463043
版权

Noisy Channel Model

下面这个是贝叶斯公式。因为source是给定的输入，所以它的概率是常数，分母就忽略了。
在这里插入图片描述
例如：一直输入的英文，求翻译之后的中文。
在这里插入图片描述
在这里插入图片描述

语言模型

LM：深度学习模型，判断语义性。
在这里插入图片描述
回忆一下联合概率公式
在这里插入图片描述
在语料库中先找后面这一句话，找到之后，看后面接的是什么。看是否出现，求概率。
缺点：当这这句话很长的时候，不好找
在这里插入图片描述
改进：马尔科夫假设
unigram bigram trigram

最低0.47元/天 解锁文章
AI_Younger_Man
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ngram折扣平滑算法
kevinfight的专栏
05-16 3434
<br />本文档翻译自srilm手册ngram-discount.7.html NAMEngram-discount – 这里主要说明srilm中实现的平滑算法 NOTATIONa_z         代表以a为起始词，以z为结束词的ngram，其中_代表0个或多个词p(a_z)     前n-1个词为a_的情况下，第n个词为z的条件概率a_           n元a_z的前n-1个词构成的前缀_z           n元a_z的后n-1个词构成的后缀c(a_z)   n元a_z在训练语料中出现的次数
uni-gram与bi-gram语言模型
qq_52852138的博客
03-06 3345
实验内容 用python编程实践语言模型（uni-gram和bi-gram）,加入平滑技术。 计算test.txt中句子的PPL，对比uni-gram和bi-gram语言模型效果。 遇到和解决的问题 问题1 问题：列表和字典作为实参传入函数时，在函数体内部改变形参，会导致实参也发生改变 解决：一维列表传入使用list.copy()，二维字典传入使用copy.deepcopy(dict) 详情可见：Python中实参随形参改变而改变的问题_长命百岁️的博客-CSDN博客。该博客编写于实验过程中，针对本问
N元语言模型
最新发布
cfy2401926342的博客
04-18 1424
本关任务：利用二元语言模型计算句子的概率。
语言模型中常见的平滑处理技术
zhang17173的博客
03-13 2632
语言模型中常见的平滑处理技术 为什么需要平滑处理技术？ 在使用语言模型直接计算某个句子出现的概率时，可能会由于某个单词或单词对出现的概率为0而导致整个句子出现的概率为0。 例如下面这个场景： 在上面的场景中，由于部分单词对出现的概率为0，导致最终两句话出现的概率均为0。但实际上，s1=“今天没有训练营”比s2=“今天训练营没有”更符合语法习惯，我们也更希望计算出来的P(s1)大于P(s2)。 为...
NLP：Python计算句子概率（最大似然估计法，加一平滑，困惑度，随机句子生成）
qq_43552032的博客
07-05 1735
python实现一元、二元语法模型的最大似然估计、拉普拉斯平滑、困惑度计算，随机句子生成。
MIT自然语言处理第三讲：概率语言模型
weixin_30567225的博客
02-26 376
一、 简单介绍 a) 预测字符串概率 　i. 那一个字符串更有可能或者更符合语法 　　1. Grill doctoral candidates. 　　2. Grill doctoral updates. 　　(example from Lee 1997) 　ii. 向字符串赋予概率的方法被称之为语言模型（Methods for assigning probabilities to st...
OpenCV+3计算机视觉++Python语言实现+第二版
10-18
《OpenCV+3计算机视觉++Python语言实现+第二版》这本书深入浅出地介绍了如何使用OpenCV库结合Python编程语言来实现计算机视觉技术。OpenCV（开源计算机视觉库）是计算机视觉领域广泛应用的一个库，它提供了丰富的...
医学图像处理的Matlab函数
05-19
在医疗领域，图像处理是一项至关重要的技术，它可以帮助医生和研究人员分析、诊断和理解复杂的医疗图像，如X射线、CT扫描、MRI等。Matlab作为一种强大的开发语言，提供了丰富的工具和函数，使得医学图像处理变得更为...
纯CSS3绘制的火龙图像动画特效源码.zip
11-01
纯CSS3意味着不依赖JavaScript或者其他编程语言，仅通过CSS（层叠样式表）第三版的特性来完成设计任务。CSS3引入了许多新特性，如选择器、盒模型、布局模式、边框和背景、文本特效、2D/3D转换、动画等，这些都为我们...
王燕。时间序列分析 R语言 案例和习题
04-17
4. ARIMA模型：通过`auto.arima`函数自动选择最佳的ARIMA参数，构建模型并进行预测。ARIMA模型结合了自回归（AR）、差分（I，即整合）和移动平均（MA）三个部分。 5. 季节性模型：对于具有明显季节性的数据，可以...
纯CSS3仿iPhone文件夹特效特效代码
03-20
CSS3是层叠样式表的第三个版本，它引入了许多新的功能和属性，如过渡（transition）、动画（animation）、边框图像（border-image）以及多列布局（multi-column layout）等，这些都使得网页设计更加丰富和动态。...
NLP基础：语言模型
weikai_w的博客
01-07 2121
什么是语言模型 语言模型旨在为语句的联合概率函数建模，是用来计算一个句子概率的模型，对有意义的句子赋予大概率，对没有意义的句子赋予小概率，也就是用来判断一句话是否是人话的概念。这样的模型可以用于NLP中的很多任务，如机器翻译、语音识别、信息检索、词性标注以及手写识别等。语言模型考虑两个方面的子任务（以“How long is a football game?”为例）： 句子中的词序：“How l...
平滑项
u013215956的博客
04-30 1147
问题是这样的，今天想为点击模型增加coec特征， 这就是coec的公式，分子是某个item某段时间内所有的点击次数，分母是该item在列表中不同位置的展现次数*该位置ctr的累加，ctr是之前数据统计出来的结果，不知道说明白了没有，大概就是这个意思吧，coec的本意是点击数超过预期点击数（click over expect click），分子是实际点击数，分母就是预期点击数。加进点击模型里面发现...
用Python实现概率语言模型（2-元语法模型）
peanutwang的博客
03-21 1036
需要注意的是，这里的两两组合区分先后，例如，“她很”出现了3次，而“很她”出现了0次。把字典中的字按照row，col排成二维的，纵横交叉处即为该两两组合出现的次数。首先构造一个语料库，由6句话组成，每句话3个字。遍历语料库，把每个字出现的次数存储在字典中。至此，一元概率已完成。下面计算二元的次数。每个字的出现的次数除以语料库总字数。再构造一个字典P1存储一元概率。构造一个字典，存储一元的字数。
【一起入门NLP】中科院自然语言处理第6课-语言模型-传统语言模型(n-gram)
vector的博客
12-31 1818
专栏介绍：本栏目为 “2021秋季中国科学院大学胡玥老师的自然语言处理” 课程记录，不仅仅是课程笔记噢～ 如果感兴趣的话，就和我一起入门NLP吧???? 目录语言模型基本概念语言模型参数估计参数的数据平滑语言模型性能评价语言模型应用 语言模型基本概念 语言模型的基本思想: 句子S=w1,w2,…,wn 的概率 p(S) 刻画句子的合理性 对语句合理性的判断: 规则法：判断是否合乎语法、语义（语言学定性分析） 统计法： 通过可能性（概率）的大小来判断（数学定量计算） 语言模型结构: 说明： w
对贝叶斯平滑的理解
Elaine_DWL的博客
07-27 1710
对贝叶斯平滑的理解 假设现在要对每个广告求历史ctr(求贝叶斯平滑后的值)。 贝叶斯平滑就是对广告的CTR进行贝叶斯估计（最小化损失函数在后验分布上的期望）。 N个广告，其点击信息和曝光信息分别是(C1,C2,...,Ci,...,CN),(I1,I2,...,Ii,...,IN)(C_1, C_2, ..., C_i, ..., C_N), (I_1, I_2, ..., I_i, ...,...
基于加权最小二乘法的保边缘平滑滤波器（WLS）
热门推荐
风吹夏天的专栏
09-21 1万+
引言陆陆续续在计算摄影学接触了不少保边滤波器，其重要性自不必说，可以用在图像的增强，图像抽象画，高动态范围图像压缩，图像色调映射等。
图像处理与matlab实例之图像平滑（一）
weixin_30722589的博客
07-23 3751
　　一、何为图像噪声？噪声是妨碍人的感觉器官所接受信源信息理解的因素，是不可预测只能用概率统计方法认识的随机误差。 　　举个例子： 　　 　　从这个图中，我们可以观察到噪声的特点：1>位置随机 2>大小不规则。我们将这种噪声称为随机噪声（randomnoise），这是一种非常常见的噪声类型。 　　二、噪声的类型 　　噪声可以借用随机过程以及概率密度函数（Probabilit...
图像平滑
asapigi的博客
02-15 368
图像平滑 除去一些噪点，有些可以保留边界，比如中值滤波，导向滤波，双边滤波 二维离散卷积 这个卷积我真的看不出哪里和卷有关系，主要是三种卷积，full，same，valid（有效的）。他们的关系是valid包含于same（当然卷积核要小于被卷积的矩阵以保证valid卷积存在），same包含于full中 full卷积 想象两个矩阵有贴合的部分，将贴合的部分对应相乘再相加，卷积核不断移动结果保存再一个新的矩阵中。下面开始定量分析： 假设被卷积的矩阵的大小为H1xW1（H:height,等于行数），卷积核的大小为
Python自然语言处理NLP算法课程 第03课 语言模型，平滑方法 共38页.pdf
11-28
【大纲】 第01课 自然语言处理与文本挖掘概述 共37页 第02课 自动机及其应用，文稿自动校正，歧义消除 共41页 第03课 语言模型，平滑方法 共38页 第04课 概率图模型，生成式模型与判别式模型，贝叶斯网，马尔科夫链，隐马尔科夫模型HMM 共40页 第05课 马尔科夫网，最大熵模型，条件随机场CRF，实现HMM和CRF的软件 共31页 第06课 汉语分词专题。世界上最难的语言名不虚传 共47页 第07课 命名实体识别，词性标注，从文本里挖出最重要的内容 共31页 第08课 句法分析找出句子的重点 共34页 第09课 语义分析与篇章分析，让机器象语言学家那样思考 共38页 第10课 文本分类，情感分析。应用案例：互联网自动门户，评论倾向性分析 共54页 第11课 信息检索系统，搜索引擎原理，问答系统，应用案例：客服机器人是怎么造出来的？ 共51页 第12课 文本深度挖掘：自动文摘与信息抽取 共38页 第13课 机器翻译与语音识别技术介绍、IBM Watson系统的认知智慧 共54页

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值