NLP基础之问答系统如何降低时间复杂度

最新推荐文章于 2024-06-11 19:22:51 发布
最新推荐文章于 2024-06-11 19:22:51 发布
阅读量153 收藏
点赞数
文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45599022/article/details/108166527
版权

 问答系统中如何进行过滤来降低时间复杂度：核心思路是层次过滤，先用复杂度低的模型过滤掉大部分语料库中的问答。然后用复杂度高的过滤器（如计算夹角余弦相似度）进行精确计算排序。

即 

倒排表： 把语料库里的每个词都建一个列表，语料库里的文档包含该词的都放到一块。然后再看输入的问题含有的词语。有该词的文档都写出来，然后进行过滤。常用于搜索系统

weixin_45599022
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NLP基础之复杂度计算
weixin_45599022的博客
08-19 305
时间复杂度和空间复杂度： Olog(n) :搜索元素（从树，二叉搜索树中查找） O n*log(n): quicksort, heapsort, 归并排序：（merge sort） divide and conquer（分治算法类）
优化查询--节省查询时间
青柠小甜味
01-16 240
优化查询 SELECT * FROM emp2; 1:不要使用 SELECT * ，用具体的字段来代表 *,不要返回用不到的字段。 ======================================================================================= SELECT ename,sal FROM emp2 WHERE ename <> ‘scott’; SELECT ename,sal FROM emp2 WHERE ename != ‘sc
[NLPCamp] 时间复杂度与空间复杂度-算法工程师不可忽略的重要指标
perfectlwz的博客
03-21 400
引言： 算法复杂度是算法工程师容易忽略的指标，尤其对于转入AI行业的算法工程师们，可能对算法复杂度的概念更是陌生，但是实际情况中，算法的复杂度会直接影响算法的执行效率，是非常重要的评估指标，本文从时间复杂度和空间复杂度的概念出发，结合实际的一些代码分析时间复杂度与空间复杂度，并总结了一些评估时间复杂度和空间复杂度的一点小小的经验，如果有说错的地方，希望大神们帮忙指正、赐教。 正文： 在实现算...
NLP深入学习——算法复杂度计算（归并排序与斐波那契数）
weixin_42894555的博客
06-11 249
返回主目录 归并排序（merge sort）复杂度计算 举一个栗子说明算法思路： 简化上述流程，并给出复杂度，假设需要计算的复杂度为T(n)： 用 主定理(Master Theorem) 解答： 代入计算： 斐波那契数 (Fibonanci number)复杂度计算 序列为1， 1， 2， 3，5，8, 13, 21，… 问：怎么求出序列中的第N个数？ f（n）= f（n-2）+ f（n-1） def fib(n) : if n<3: return 1 return fib(
NLP学习笔记28：梯度下降梯度时间复杂度计算与收敛性推导
bohu83的博客
02-27 3280
一 序 本篇属于贪心NLP训练营学习笔记。 二 逻辑回顾的梯度下降法 逻辑回顾的目标函数： 推导过程：NLP学习笔记21-逻辑回归2：决策边界，目标函数,凸函数，梯度下降 梯度下降法结果的解释 时间复杂度Gradient Descent Algorithm 这个很难直接给出时间复杂度。梯度下降法是一个迭代的过程，受到初始值。步长等因素影响。 三 Convergence Analysis of Gradient Descent梯度下降法的收敛分析 1. ...
自然语言问答系统.rar
06-12
问答系统是人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。 早在计算机诞生不久的1950年，Alan Turing就提出了著名的图灵测试。该测试的目的并不是为了获取信息，而是用于测试计算机是否...
nlp 自然语言处理+bert model +问答系统 question answer system
04-06
pre-trained bert model 预训练好的Bert模型 本地实现问答系统 用这条命令将bert下载到本地： model.save_pretrained("path/to/model") 也有参考这篇文章 ...
NLP-使用深度学习算法实现的中文问答系统-nlp算法.zip
03-08
NLP_使用深度学习算法实现的中文问答系统_nlp算法
NLP：自然语言问答系统.zip
04-21
自然语言问答系统 能够将自然语言问题转化成包含语义信息的查询图，然后，将查询图转化成标准的SPARQL查询，并将这些查询在图数据库中执行，最终得到用户的答案。我们使用数据驱动的消歧方式，具体来讲，在生成查询...
自然语言处理(NLP)基础理解
02-24
本文来自简书，本文将主要介绍什么是自然语言处理，以及NLP的生成与理解，,希望对您的学习有所帮助。-推理-自动学习&调度-机器学习-自然语言处理-计算机视觉-机器人-通用智能阶段1——机器学习：智能系统使用一系列...
【NLP】词频统计的3中方法，时间复杂度，空间复杂度对比。
夏目的博客
04-24 1300
#第一种办法 import re from collections import Counter def get_max_value_vl(text): text = text.lower() result = re.findall('[a-zA-Z0-9]',text) #去掉列表中的符号 count = Counter(result) #词频统计 c...
NLP(3): 问答系统介绍，文本处理流程
JJJJJJames的博客
02-06 697
1、P vs NP vs NP Hard vs NP Complete 按照时间复杂度将问题分类 ，p是常数 多项式复杂度 O(p^n) ：不可以解决的问题，归类于NP Hard/Np Complete 1、对于小型的问题，仍然可以采用 NP: 可以在多项式复杂度内可以verify的，给定一个解，判断这个解是不是想要的。评估解的过程只需要多项式复杂度，是个判断过程。 2、approximate algorithm：不保证获得精确的解 - 提出近似算法 - 指出时间复杂度多少 - 给出近似算法最后给出
机器学习模型_机器学习模型的时间复杂度
weixin_39822423的博客
12-03 1224
时间复杂度可以看作是机器学习算法针对输入大小执行速度的快慢的度量。时间复杂度总是相对于某些输入大小(例如n)给出的。空间复杂度可以看作是执行机器学习算法所需的额外内存量。像时间复杂度一样，它也针对某些输入大小(n)给出。机器学习算法/机器学习模型的复杂性通常使用大O表示法表示，大O表示法定义了算法的上限，它仅从上方限制函数。大O表示法：算法的时间复杂度通常用大O符号表述，定义为T[n] = O(f...
NLP-简单问答系统实现及优化
Swayzzu的博客
11-18 1250
问答系统简单实现，用倒排表及词向量优化。
降低时间复杂度的几种方法【持续更新】
热门推荐
tree123tree123的博客
06-12 2万+
降低时间复杂度的几种方法【持续更新】　　LeetCode的许多题目都对时间复杂度有相应的要求，大家在刷题时遇到一道题可能有自己的解决方法，也确实可行，然而时间复杂度达不到要求也无法通过。这里给大家持续总结LeetCode中遇到的那些降低时间复杂度的方法。
Llama模型家族之Stanford NLP ReFT源代码探索 （四）Pyvene论文学习
段智华的博客
06-09 1271
本文介绍了一个名为pyvene的Python库，支持干预研究在神经模型上的应用。支持自定义干预类型和不同类型的模型架构。支持复杂的干预方案，并且可以共享干预后的模型。可以通过在线模型中心（如HuggingFace）与他人分享干预后的模型。
动手学深度学习—序列数据与语言模型
xiaoxu的博客
06-11 761
时序模型中，当前数据跟之前观察到的数据相关。
基于 Transformer 的大语言模型
最新发布
AI与算法都要通俗易懂
06-11 521
近年来，研究人员发现，扩大语言模型的规模不仅增强了它们的语言建模能力，而且还产生了处理传统NLP任务之外更复杂任务的新兴能力。可以看到，自注意力机制允许模型识别不同输入部分的重要性，无论距离如何，并且可以捕捉输入句子中的长距离依赖和复杂关系。特别地，在第一个块之前，使用分词器将原始输入句子转换为一系列标记，随后的嵌入层用于将标记转换为输入特征。对于每个块，它接收前一个块的输出特征作为输入，并通过每个子模块传递特征以获得输出。然后，将额外的位置嵌入添加到输入特征中，以编码每个输入标记的顺序。
NLP中的Tokenizer分词器的概念与实现
qq_53324833的博客
06-11 704
#开头表示这个词或者字不是一个完整的词或者字，其是一个词根（因为分词器啥语言都能分，这里我们使用的中文，因此其也有一个对应的所谓词根的操作），为了节省内存空间，tokenizer 会把一些常见词拆成更零碎的部分，通过这些更零碎的部分则可以拼接出更多的词来提高切词的成功率。然后就应该进行查表了，应该会存在这么一个类似于字典的东西，该字典包含了很多常见的字或者是词，对于表中不存在的字词会使用一个特殊的标识。然后将其按字切开，得到：“ 站 在 人 生 的 龍 字 路 口 ， 不 知 所 措 ”。
自然语言处理问答系统框架
12-09
自然语言处理问答系统框架通常包括以下几个步骤： 1. 文本预处理：对输入的自然语言文本进行分词、词性标注、命名实体识别等处理，以便后续处理。 2. 召回阶段：在大规模的知识库中，通过检索技术（如倒排索引）...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值