NLP—2.语言模型及文本表示

最新推荐文章于 2024-07-30 14:18:02 发布
最新推荐文章于 2024-07-30 14:18:02 发布
阅读量1k 收藏 3
点赞数 1
分类专栏： NLP学习 文章标签： 语言模型 文本表示
本BLOG上原创文章未经本人许可，不得用于商业用途，转载请注明出处。
本文链接：https://blog.csdn.net/weixin_46649052/article/details/119349991
版权
本文深入探讨了自然语言处理中的语言模型，包括如何评价模型好坏、平滑概念及其在拼写纠错中的应用。介绍了困惑度作为评估标准，以及平滑技术如拉普拉斯平滑和插值。此外，还详细讲解了词集模型、词袋模型和Word2Vec词嵌入模型，阐述了这些模型在文本表示中的作用和优缺点。
摘要由CSDN通过智能技术生成

文章目录

一、语言模型

  语言模型可以说是自然语言处理中最重要的模型。语言模型可以看做是一个函数，用于计算一个句子出现的概率，即语言模型可以判断某一句话从语法上是否通顺（是不是人话），从语义上是否有歧义。在很多时候，我们都要度量一句话的出现概率，一句话的出现概率等同于一句话语法的流畅程度。通过语言模型，我们可以知道：
P L M ( 今 天 天 气 真 不 错 ) > P L M ( 真 不 错 天 气 今 天 ) P L M ( 全 民 A I 是 趋 势 ) > P L M ( 全 民 趋 势 是 A I ) P_{LM}(今天天气真不错)>P_{LM}(真不错天气今天)\\P_{LM}(全民AI是趋势)>P_{LM}(全民趋势是AI) PLM​(今天天气真不错)>PLM​(真不错天气今天)PLM​(全民AI是趋势)>PLM​(全民趋势是AI)
语言模型可以用于语音识别，机器翻译。
  那么，如何计算每句话出现的概率？每句话出现的概率等于单词序列出现的概率。
P L M ( s ) = P L M ( w 1 , w 2 , . . . , w n ) P_{LM}(s)=P_{LM}(w_1,w_2,...,w_n) PLM​(s)=PLM​(w1​,w2​,...,wn​)
根据链式法则，可以表示为
P L M ( s ) = P L M ( w 1 , w 2 , . . . , w n ) = P L M ( w 1 ) P L M ( w 2 ∣ w 1 ) . . . P L M ( w n ∣ w 1 w 2 . . . w n − 1 ) P_{LM}(s)=P_{LM}(w_1,w_2,...,w_n)=P_{LM}(w_1)P_{LM}(w_2|w_1)...P_{LM}(w_n|w_1w_2...w_{n-1}) PLM​(s)=PLM​(w1​,w2​,...,wn​)=PLM​(w1​)PLM​(w2​∣w1​)...PLM​(

最低0.47元/天 解锁文章
哎呦-_-不错
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
NLP——day37 读论文：自然语言处理中的文本表示研究（综述类 2022 软件学报）
想太多的学习日志
10-07 902
目前和今后较长一段时间, 以 Word2Vec[36] 、GloVe[77] Transformer[84] 、GPT[86,87] 、BERT[88] 、XLNet[89] 、fastText[79] 为代表的嵌入式表示方法, 以 为代表的自然语言深度学习框架, 以预训练加微调为代表的自然语 言处理基本流程将成为进一步研究和发展的主导方向[136−138] . 主要的技术趋势就是利用更大容量的模型, 近于无 限的无监督文本, 编码语言学知识和人类知识. 另外, 自然语言处理与大数据工程、知识库、脑科学和认
一文看懂自然语言处理语言模型 n-gram word-embedding CBOW Skip-gram word2vec glove解读
hxshine的博客
04-29 2021
1.n-gram 自己理解: n代表窗口长度，n-gram的思想就是先滑窗，然后统计频次，然后计算条件概率，你可以取前面n个的条件概率，不一定要取全部的，最后得到的是整个句子的一个概率，那这个概率可以代表句子的合理性。 详情见： https://zhuanlan.zhihu.com/p/32829048 如何利用n-gram作为额外的特征呢？ 例如: 我 爱 北京 天安门 这样词就有各种组...
编辑距离问题
晚晴小筑
12-02 214
n题目描述 假设字符串的基本操作仅为：删除一个字符、插入一个字符和将一个字符修改成另一个字符这三种操作。 我们把进行了一次上述三种操作的任意一种操作称为进行了一步字符基本操作。 下面我们定义两个字符串的编辑距离：对于两个字符串a和b，通过上述的基本操作，我们可以把a变成b或b变成a，那么字符串a变成字符串b需要的最少基本字符操作步数称为字符串a和字符串b的编辑距离。 例如：a=“A...
字符串最短编辑距离问题
weijifen000的博客
06-22 3269
问题： 设 A 和 B 是两个字符串。我们要用最少的字符操作次数，将字符串 A 转换为字符串 B 。这里所说的字符操作共有三种： 1. 删除一个字符； 2. 插入一个字符； 3. 将一个字符改为另一个字符。 对任给的两个字符串 A 和 B ，计算出将字符串 A 变换为字符串 B 所用的最少字符操作次数。 样例： 2 bcodeqwrty bdq...
自然语言处理之文本表示模型
YehuiWu的博客
02-27 3843
# 文本表示模型 常见的文本表示模型有：词袋模型(Bag of Words)，主题模型(Topic Model)，词嵌入模型(Word Embedding) ## 词袋模型 词袋模型是将每篇文章看成一袋子的词，并忽略每个词出现的顺序。具体来说，就是将整段文本以词为单位且分开，然后每篇文章可以表示成一个长向量，向量中的每一维代表一个单词，而该维对应的权重则反映了这个词在原文章中重要程度。常用T...
自然语言处理 (第8课 文本表示)
komjay的博客
11-07 159
思路：一个短语由多个单词组成，将任意两个单词的词向量（A和B）线性组合成一个新的词向量C，最后就可以得到短语的向量表示，而且还可以通过线性分解将C分解成A'和B'，目标就是追求A和A'、B和B'的差距最小，即重构误差最小。比如说有一个短文本A和长文本B，显然地，长文本包含了更多的词，也就使得其文本表示更大，但实际上，二者的表示信息是相同的，（比如B就是重复的多个A）所以引入归一化，使向量能规范化。其实，文本表示在字词级别上就是词向量，而在句子、文档级别中，也是用一个向量来表示一个句子、一个文档的意思。
NLP基础—3.文本表示
柳杰的博客
06-18 466
文章目录引言一、词袋模型二、文本相似度计算三、词向量四、句子向量 引言   文本表示的核心在于将文本表示成后续算法可以使用的特征向量。 一、词袋模型 二、文本相似度计算 三、词向量 四、句子向量 ...
自然语言处理NaturalLanguageProcessing(NLP).ppt
11-12
自然语言处理（NLP）是计算机科学领域与人工智能的一个重要分支，主要研究如何处理和理解人类的自然语言，包括但不限于英语、汉语等。NLP旨在让计算机能够理解、生成、处理和生成这些语言，以便更好地服务于信息处理...
面向自然语言处理任务的预训练模型综述.pdf
04-21
面向自然语言处理任务的预训练模型综述 本文对面向自然语言处理任务的预训练模型进行了综述，总结了当前预训练模型的研究现状，并对代表性的模型特点进行了梳理和归纳。预训练模型的出现解决了深度神经网络中大规模...
自然语言处理课件.ppt
10-11
自然语言处理（Natural Language Processing, NLP）是计算机科学领域的一个重要分支，它涉及人工智能、计算机科学、语言学等多个学科，旨在使计算机能够理解和生成人类自然语言，实现人机之间的有效沟通。...
NLP：机器读心术之文本挖掘与自然语言处理.zip
04-21
文本挖掘与自然语言处理是人工智能领域中的重要分支，它们在机器读心术中扮演着核心角色。本课程作业深入探讨了如何通过计算机理解和解析人类语言，实现机器与人的有效沟通。 1. **自然语言处理（NLP）**： 自然...
字符串A-＞字符串B例题 :最短编辑距离、最优包含 （线性DP）
pxlsdz的博客
11-13 1386
AcWing 902. 最短编辑距离 给定两个字符串A和B，现在要将A经过若干操作变为B，可进行的操作有： 删除–将字符串A中的某个字符删除。 插入–在字符串A的某个位置插入某个字符。 替换–将字符串A中的某个字符替换为另一个字符。 现在请你求出，将A变为B至少需要进行多少次操作。 输入格式 第一行包含整数n，表示字符串A的长度。 第二行包含一个长度为n的字符串A。 第三行包含整数m，表示字符串B的长度。 第四行包含一个长度为m的字符串B。 字符串中均只包含大写字母。 输出格式 输出一个整数，表示最少操
文本表示（一）神经网络语言模型
sinat_35456607的博客
10-28 1258
文本的表示 因为文本是由文字、标点组成的，但是计算机并不能高效的处理真实的文本；为了解决这种问题，就需要一种形式化的方法来表示真实文本。通常将文本转换为向量进行表示。 向量空间模型 向量空间模型(vector space model,VSM)是一种最简单的文本表示方法。 VSM假设文档符合：a、各特征项tit_iti​不重复；b、各特征项没有顺序关系。在这两个假设下可以把所有的特征项t1,...,...
使用大语言模型（LLM）进行文本生成和处理
qq_29929123的博客
07-30 317
大语言模型（LLM）是通过深度学习技术训练出来的，可以理解和生成自然语言文本的模型。它们通常具有数以亿计的参数，通过在大规模的文本数据上进行训练，掌握了语言的语法、语义以及一定程度的上下文理解能力。
【动态规划----“最小编辑距离”问题（C++解决）】
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
11-12 2213
代码 #include<bits/stdc++.h> //#include <iostream> //#include <string.h> //#include <vector> //#include <algorithm>//min()包含头文件 using namespace std; int main(){ char str1[1025],str2[1025];//长度不超过1024,长度最小要声明为1024+1,因为字符串末尾有空字符。
基于ssm和vue的 校园短期闲置资源置换平台源码 校园短期闲置资源置换平台代码（高分毕设项目源码）
最新发布
08-23
1. 校园短期闲置资源置换平台代码说明：经导师指导并认可通过的98分毕设项目代码。 2.适用对象：本代码学习资料适用于计算机、电子信息工程、数学等专业正在做毕设的学生，需要项目实战练习的学习者，也适用于课程设计、期末大作业。 3.技术栈：前端是vue，后端是ssm，项目代码都经过严格调试，代码没有任何bug！ 4. 作者介绍：大厂码农，java领域创作者，阿里云开发社区乘风者计划专家博主，专注于大学生项目实战开发，文章底部有博主联系方式，更多优质系统、项目定制请私信。 5. 最新计算机软件毕业设计选题大全: https://blog.csdn.net/weixin_45630258/article/details/135901374
自然语言处理入门：序列模型与NLP技术概览
"该课程是关于AI人工智能领域中的自然语言处理技术(NLP)的分享，主要探讨了自然语言处理中的序列模型。课程内容全面，包括自然语言处理的基础概念、广泛应用、技术挑战、历史进程、一般思路和基本工具，并对序列模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值