NLP(4) 语言模型

最新推荐文章于 2024-07-25 06:30:00 发布
最新推荐文章于 2024-07-25 06:30:00 发布
阅读量136 收藏
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43277406/article/details/101678290
版权
倒排表

QA system 中 返回相似度最高的答案，对于知识库，需要计算N次相似度，O(N) 每次相似度计算的复杂度，无法满足实时性要求

解决问题核心思想“层次过滤思想”
遇到问题，O 输入，和所有问题匹配，
10^6 多次过滤 -> 10 ^3 -> 10 ^2;最后通过余弦相似度比较最后5个…
核心思想 过滤依次选取时间复杂度最快的，即过滤器1时间复杂度1>>过滤器2

Introducing Inverted Index
demo 搜索引擎
doc1 我们 今天 运动
doc2 我们 昨天 运动
doc3 你们 上课
doc4 你们 上 什么课
词典库 [我们 今天 运动 昨天 上 课 什么]
我们 [doc1,doc2]
今天 [doc1]
运动 [doc1,doc2]
昨天[doc2]
。。。。。。
我们可以快速根据词定位

假设 用户输入“运动”，我们只需要匹配倒排表中运动，最简单的方式是返回 doc1，doc2 的一个排序

假设用户输入“我们 上课”，we know “我们”出现在doc1，doc2；“上课” 出现在 doc3，doc4；由于交集为空，可以简单return 并集

回到QA system
Question:How do you like NLP?
对问题进行 分词，先选择至少包含其中一个单词的question，（此时也可以进行第二轮过滤）然后对于所获得的question进行相似度匹配

Noisy Channel Model

p(text|source) 正比于 p(source|text)p(text)
在这里插入图片描述
在这里插入图片描述

Language Model

判断是否一句话从语法上通顺

Object: Compute the probability of a sentence of a sentence or sequence of words

chain rule

random variable
P(A,B,C,D )=P(A)*P(B|A)*P(C|A,B)*P(D|A,B,C)
右式=P(A,B)*P(C|A,B)*P(D|A,B,C)=P(A,B,C)*P(D|A,B,C)=左式

Markov Assumption

1st order markov assumption p(a|b)
2nd … p(a|b,c)
…

Language Model

Unigram

把当前单词作为独立对待，假设每一个单词是独立的
问题 不考虑单词顺序
如何计算P(Wi)?
需要有语料库 假设C(我们)=100 V=10^5 p=C/V=1%

Bigram

来自first-order Markov assumption
能解决先后顺序

N-gram

Higher Order

Evaluation of language Model

Perplexity = 2^(-x) average log likelihood
根据不同场景要用不同的
一般而言 更高维度的Gram 效果更好，但是更可能过拟合

为什么需要平滑方法？
因为在训练语料库没出现不意味着在未来也不会出现

Smoothing

Add-one Smoothing Laplace Smoothing
PMLE(Wi|Wi-1)=C(Wi-1,wi)/C(wi)
PAdd-1(Wi|Wi-1)=(C(Wi-1,wi)+1)/(C(wi)+V)
处理了分子为0的情况，分母加V的原因？为了确保条件概率sum 后为1
V是词典的大小

Add-K Smoothing Laplace Smoothing
PAdd-k(Wi|Wi-1)=(C(Wi-1,wi)+k)/(C(wi)+k*V)

  1. k=1,2,3,…
  2. 优化 f(k)
    对于训练好的语言模型 概率C（Wi,we）是已知的
    perplexity=f(k)
    Minimize perplexity
Interpolation

在当前数据中没有出现不意味着在未来也不会出现

在这里插入图片描述
p(kitchen| in the )>>p(arboretum | in the)随着数据增加

核心思想
在计算Trigram概率同时考虑Unigram 和 Bigram，Trigram出现频次

P(wn|wn-1,wn-2)=λ1p(wn|wn-1,wn-2)+λ2p(wn|wn-1)+λ3p(wn)
∑λi=1

CharlesPoletoWin
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习 - 隐马尔科夫模型(Hidden Markov Model)
weixin_41332009的博客
02-18 515
1. 马尔可夫模型 下面介绍几个马尔可夫模型中的重要概念： 1.1 一阶马尔可夫假设 (first order Markov assumption) n时刻的观测值只依赖于n-1时刻的观测值，即： p(xn∣xn−1,xn−2,...x0)=p(xn∣xn−1)p(x_n|x_{n-1},x_{n-2},...x_0) = p(x_n|x_{n-1})p(xn​∣xn−1​,xn−2​,...x0​)=p(xn​∣xn−1​) 1.2 转移概率 ai,j=p(xn=Sj∣xn−1=Si)a_{i,j} ..
Go语言学习笔记(1)
PoleToWin的博客
05-03 166
Go语言学习笔记 由于目前是学生身份，所以使用的是JetBrains全家桶系列，Goland 这是多处理器多Handler方式 package main import ( "fmt" "net/http" "strings" ) //多处理器多Handler type MyHandler struct { } func(m *MyHandler) ServeHTTP(w http...
FinBERT-QA:使用预训练的 BERT 语言模型进行金融领域问答
05-29
FinBERT-QA：使用 BERT 回答金融问题 FinBERT-QA 是一个问答系统，用于从数据集的任务 2 中检索有金融段落。 请参阅获取更多信息。 该系统使用来自信息检索和自然语言处理的技术，首先使用 Lucene 工具包检索每个查询的前 50 个候选答案，然后使用预训练的模型的变新排列候选答案。 FinBERT-QA 从 Huggingface 的库构建并应用 Transfer and Adapt [ ] 方法，首先将预训练的 BERT 模型转移并微调到一般 QA 任务，然后使用 FiQA 数据集将该模型适应金融领域。 转移步骤在的数据集上使用微调的 BERT 模型 ，它从 TensorFlow 转换为 PyTorch 模型。 在三个排名评估指标（nDCG、MRR、Precision）上结果平均提高了约 20%。 Overview of the QA pipeline:
斯坦福大学自然语言处理第四课“语言模型（Language Modeling）”
weixin_34007886的博客
01-06 987
一、课程介绍 斯坦福大学于2012年3月在Coursera启动了在线自然语言处理课程，由NLP领域大牛Dan Jurafsky 和 Chirs Manning教授授课：https://class.coursera.org/nlp/ 以下是本课程的学习笔记，以课程PPT/PDF为主，其他参考资料为辅，融入个人拓展、注解，抛砖引玉，欢迎大家在“我爱公开课”上一起探讨学习。 课件汇总下载地址：...
NLP-语言模型
Swayzzu的博客
11-15 3823
根据贝叶斯定理得来的。Noisy Channel Model，用于把信号源转换成文本。 可以适用于多个场景： 后面的p(text)是一个语言模型。保证输出的像人话，有正确的语法。 text：中文、正确的写法、文本、明文 source：英文、错误的写法 、语音信号、暗文 对应的分别是机器翻译、拼写纠错、语音识别、密码破解 NCM前半部分，是用来做翻译、纠错、识别、破解的，但不保证语法正确，因此需要语言模型。 语言模型用来判断：是否一句话从语法上通顺。 比如：今天是周日VS今天周日是..
大模型应用解决方案：基于ChatGPT和GPT-4等Transformer架构的自然语言处理
热门推荐
努力是为了站在万人之中，成为别人的光
04-08 9万+
随着深度学习技术的发展，自然语言处理（NLP）领域取得了显著的进步。其中，基于Transformer架构的预训练模型，如ChatGPT和GPT-4，已经成为了解决各种NLP任务的主流方法。本文将介绍如何使用这些大模型来解决自然语言处理问题，并提供相应的代码示例。首先，我们需要安装一些必要的库，如PyTorch、Transformers等。我们可以使用Hugging Face提供的预训练模型和分词器。我们需要将文本数据转换为模型可以接受的格式。以上代码将输出与输入文本相关的回答。
自然语言处理(NLP)之三：语言模型
xunyishuai5020的博客
02-05 3102
语言模型是预测句子符合语法规范（语言惯用的单词搭配规范）的概率的计算方法，对给定语句S=W1,W2,W3,…,WnS = W_1, W_2, W_3, …, W_nS=W1​,W2​,W3​,…,Wn​，其表达式为： P(S)=P(W1,W2,W3,…,Wn) P(S) = P(W_1, W_2, W_3, …, W_n) P(S)=P(W1​,W2​,W3​,…,Wn​) P(W1,W2,W3,…,Wn)P(W_1, W_2, W_3, …, W_n)P(W1​,W2​,W3​,…,Wn​)，W1,W2
传统自然语言处理（NLP）与大规模语言模型（LLM）详解
m0_62110645的博客
07-25 1525
传统NLP和大规模语言模型各有优势和劣势。传统NLP依赖于语言学理论和规则，适用于特定任务，但在处理复杂语言现象时可能表现不足。大规模语言模型通过深度学习和大量数据训练，具有更强的通用性和表现力，但需要大量的计算资源和数据支持。随着技术的发展，LLM在很多应用中已经逐渐取代了传统NLP方法，但在某些需要高可解释性和低资源消耗的场景下，传统NLP仍然具有其优势。
NLP领域大语言模型汇总
千里之行始于足下
03-28 4888
大语言模型是近年来人工智能领域重要研究方向之一。它们是基于深度学习技术构建的神经网络，可以自动学习和生成自然语言文本，如文章、对话、诗歌、代码等等。本文主要真针对目前比较火热的自然语言大语言模型，进行简单介绍，LLM包括了OpenAI的ChatGPT、百度文心一言、清华的GLM等模型。
NLP常见语言模型总结
Asia-Lee
01-19 2万+
目录 一、词的离散表示 1、One-hot编码（独热编码） 2、Bag of Words（BOW，词袋模型） 3、N-gram语言模型 二、词的分布式表示（Distributed Representation） 1、共现矩阵（Co-currence Matrix） 2、神经网络语言模型（Neural Network Language Model，NNLM） 3、Word2Vec，G...
NLP自然语言处理进阶自我学习模型
08-16
### NLP自然语言处理进阶自我学习模型 #### 一、引言 随着人工智能技术的飞速发展，自然语言处理（Natural Language Processing, NLP）作为人工智能领域的一个重要分支，其应用越来越广泛，如机器翻译、情感分析、...
NLP课件（自然语言处理课件）
08-19
自然语言处理（NLP）是计算机科学领域的一个重要分支，它专注于使计算机能够理解、解析、生成和操作人类自然语言。这些课件涵盖了NLP的多个核心主题，为学习者提供了一个全面的学习路径。 首先，"L1 - Introduction...
大语言模型 原理详解完整版
08-03
大语言模型是一种基于深度学习的自然语言处理技术，它可以预测给 定上下文中最可能出现的下一个单词或词组。在近年来，随着深度学 习技术的不断发展和计算能力的增强，大语言模型在自然语言处理领 域得到了广泛应用...
自然语言处理NaturalLanguageProcessing(NLP).ppt
11-12
自然语言处理（NLP）是计算机科学领域与人工智能的一个重要分支，主要研究如何处理和理解人类的自然语言，包括但不限于英语、汉语等。NLP旨在让计算机能够理解、生成、处理和生成这些语言，以便更好地服务于信息处理...
自然语言处理常用模型方法总结
12-21
自然语言处理常用模型方法总结 自然语言处理常用模型方法总结
自然语言处理（NLP）
weixin_44733966的博客
02-01 3778
自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。
【独家首发】基于蜣螂优化算法DBO-GMDH的风电数据回归预测研究Matlab实现.rar
最新发布
08-14
【独家首发】基于蜣螂优化算法DBO-GMDH的风电数据回归预测研究Matlab实现.rar
深度探索：神经网络在图像识别中的革命性应用
08-14
神经网络是一种受人脑结构启发的数学模型，它由大量的节点（或称为“神经元”）相互连接构成。这些节点通常组织成层，包括输入层、隐藏层和输出层。每个神经元可以接收来自前一层的输入，通过某种激活函数处理这些输入，然后将结果传递给下一层的神经元。 神经网络能够通过学习大量的数据来识别模式和特征，这使得它们在图像识别、语音识别、自然语言处理等领域有着广泛的应用。它们也可以用于预测、分类和回归等任务。 训练神经网络通常涉及到一个称为“反向传播”的过程，通过这个过程，网络可以调整其内部参数（权重和偏置），以便更好地完成特定的任务。这个过程通常需要大量的计算资源，并且伴随着梯度下降或其他优化算法来最小化损失函数，从而提高模型的性能。 随着深度学习技术的发展，神经网络变得更加复杂和强大，出现了各种类型的网络结构，比如卷积神经网络（CNNs）用于图像处理，循环神经网络（RNNs）用于序列数据，以及长短期记忆网络（LSTMs）等。
基础会计教学课件第十一章财务会计报告.pptx
08-14
基础会计教学课件第十一章财务会计报告.pptx
预训练语言模型：自然语言处理基础
"《自然语言处理基础模型》是一本专著，探讨了人工智能领域的最新进展，特别是针对自然语言处理(NLP)的大模型。该书由Gerhard Paaß和Sven Giesselbach编著，作为'Artificial Intelligence: Foundations, Theory, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值