【自然语言处理】补充：布尔模型

最新推荐文章于 2024-10-15 09:41:26 发布
最新推荐文章于 2024-10-15 09:41:26 发布
阅读量678 收藏 11
点赞数 6
分类专栏： 智能科学与技术 文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ausgelebt/article/details/142342623
版权

【自然语言处理】补充：布尔模型

布尔检索是指针对查询的检索，布尔查询是指利用AND，OR或者NOT操作符将词项连接起来的查询，例如：信息AND检索、信息OR检索、信息AND检索AND NOT教材

  • Google的高级搜索/布尔查询
    • Google的AND—百度 “ 手机 报价 ”
    • Google的NOT—百度 “ 手机 - 报价 ”
    • Google的OR—百度 “ 手机 | 报价 ”

示例：莎士比亚的哪部剧本包含Brutus及Caesar但是不包含Calpurnia？布尔表达式为Brutus AND Caesar AND NOT Calpurnia。

  • 一般方法：

    • 从头到尾扫描所有剧本，对每部剧本判断它是否包含Brutus和Caesar，同时又不包含Calpurnia
    • 缺点：速度慢（特别是大型文档集）；处理NOT Calpurnia并不容易（一旦包含即可停止判断）；不太容易支持其它操作（eg，find the word Romans near countrymen）；不支持检索结果的排序（即只返回较好的结果）

  • 词项-文档（term-doc）的关联矩阵
    在这里插入图片描述

最低0.47元/天 解锁文章
Ausgelebt
关注
专栏目录
【NLP】自然语言处理的序列建模
sikh_0529的博客
09-24 9100
考虑这个向量的一种方法是，最终向量是传递整个序列输入的结果，因此它是姓氏的摘要向量。在像英语这样的语言中，句子中的单词不是随意的。Elman RNN 内部的显式计算显示为两个量的相加：前一个时间步的隐藏向量与隐藏到隐藏权重矩阵之间的点积，以及输入向量与输入到隐藏权重矩阵的点积。该模型的参数是嵌入的大小、嵌入的数量（即词汇大小）、类的数量和 RNN 的隐藏状态大小。中更详细地显示了一个新的隐藏向量，它使用一个隐藏到隐藏的权重矩阵来映射先前的隐藏状态向量，并使用一个输入到隐藏的权重矩阵来映射输入向量。
人工智能 | 自然语言处理研究报告（技术篇）
尘世冰封的专栏
04-26 6469
博主github：https://github.com/MichaelBeechan 博主CSDN：https://blog.csdn.net/u011344545 ============================================ 概念篇：https://blog.csdn.net/u011344545/article/details/89525801 技术篇： 人才篇： ...
【自然语言处理】补充：词项权重计算及向量空间模型
Ausgelebt的博客
09-21 762
除词项频率tf外，我们还想利用词项在整个文档集中的频率进行权重和评分计算。
自然语言处理：transfomer架构
Nowl的博客
01-27 2235
transfomer是自然语言处理中的一个重要神经网络结构，算是在传统RNN和LSTM上的一个升级，接下来让我们来看看它有处理语言序列上有哪些特殊之处
【自然语言处理】补充：文本分类及朴素贝叶斯分类器
Ausgelebt的博客
09-27 1077
多元贝努利模型，它等价于二值独立模型，对于词汇表中的每个词项都对应一个二值变量，1和0分别表示词项在文档中出现和不出现。例如：对于UK类别中的一篇文档，在第一个位置上生成QUEEN的概率和在最后一个位置上生成它的概率一样。贝努利模型只考虑词项的出现或不出现（即二值），并不考虑出现的次数，而多项式模型则要考虑出现次数。以该类为条件，（在各自位置上）基于概率P(tk|c)产生每个词语，这些词语之间相互独立。但是，训练集的规模总是有限的。上式中存在过多的参数，每个参数都是一个类别和一个词语序列的组合。
读书笔记：深度学习进阶-自然语言处理（俗称鱼书二）
博客而已
01-13 1767
还记得半年前开始看并给鱼书一做笔记的热情，现在想进一步了，作者和翻译作者都非常高效给力了，那么快就出了第二本鱼书-《深度学习进阶-自然语言处理》，本书一共八章，希望每周可以看完并完成一个章节的笔记，深度学习冲冲冲~在啃第一本鱼书的时候，是采用了先看在总结的方式，这次看第二本决定边看边总结，看完一遍可能还得回去再看第二遍，希望这次边学边思的效率高些，加油加油！自然语言处理是让计算机处理自然语言的技术。
Text-to-Drive: 通过大语言模型实现多样化驾驶行为合成
yorkhunter的博客
07-22 1085
24年6月来自UMass Amherst,、MIT CSAIL和MIT LIDS的论文“Text-to-Drive: Diverse Driving Behavior Synthesis via Large Language Models”。
LOGIC-LM：使用符号求解器为大型语言模型提供忠实的逻辑推理11.22
RM_Jin的博客
11-29 1714
大型语言模型（LLM）已经显示出类似人类的推理能力，但仍然难以解决复杂的逻辑问题。本文介绍了一种新颖的框架 LOGIC-LM，它将LLM与符号求解器相集成，以提高逻辑问题的解决能力。我们的方法首先利用LLM将自然语言问题转化为符号表述。随后，确定性符号求解器对所表述的问题进行推理。我们还引入了一个自我求精模块，它利用符号求解器的错误消息来修改符号形式化。
大型语言模型中的幻觉研究综述：原理、分类、挑战和未决问题
qq_32907491的博客
05-05 2437
大型语言模型（LLM）的出现标志着自然语言处理（NLP）的重大突破，导致文本理解和生成的显着进步。然而，除了这些进步之外，LLM还表现出产生幻觉的关键倾向，导致内容与现实世界的事实或用户输入不一致。这种现象对它们的实际部署提出了重大挑战，并引起了对LLM在现实世界场景中的可靠性的担忧，这吸引了越来越多的关注来检测和减轻这些幻觉。在这项调查中，我们的目标是提供一个全面和深入的概述LLM幻觉领域的最新进展。我们开始与LLM幻觉的创新分类，然后深入研究的因素，有助于幻觉。
【用大模型提示工程处理NLP任务】
一休
10-12 361
以下是一些典型的任务和最佳实践提示，帮助您更好地使用 Batch API。从大量文本中提取结构化信息，如：命名实体识别（NER）、关系抽取、事件抽取等。将大量文本数据分类到预定义类别中，如：新闻分类和垃圾邮件检测等。利用语言模型大批量生成文本内容，如：撰写SEO文章、小说创作等。大规模的文本翻译任务，将文本从一种语言翻译成另一种语言。识别和分析文本中的情感倾向，如：正面、负面或中性情感。处理和分析大量文档，如：文档摘要生成、关键信息提取等。自动检测和纠正大批量文本中的拼写错误、语法错误等。
大语言模型生成如何解决幻觉率问题
最新发布
u013343616的博客
10-15 259
大语言模型生成中的“幻觉率”问题，指的是模型生成的内容不准确或虚构的情况。幻觉率过高会导致错误信息的传播，特别是在一些需要高度准确性的任务中，例如法律、医学等领域。
利用GPU的OpenCL和MLC-LLM框架运行小语言模型-地瓜RDK X5开发板-非量产算法仅供整活
吴超的博客
10-12 1226
百分之零的BPU占用，几乎百分之零的CPU占用，将主要计算资源保留给主要算法。采用int4量化，内存和带宽占用理论上int8量化的一半，空余内存4.1GB。采用GPU作为计算部件，摸着通用计算的尾巴。理论上，可以使用X5的这颗支持OpenCL的GPU运行HuggingFace上面的任何模型。所有涉及的代码仓库或者模型权重均为Apache 2.0协议开源。
基于Python的自然语言处理系列（32）：spaCy属性扩展
不想宅的冷同学
10-12 941
在 spaCy 中，自定义扩展属性让我们能够为DocToken和Span对象添加元数据。通过这些扩展属性，开发者可以根据需要存储额外的上下文信息，或者动态计算属性值。自定义属性通过点下划线（dot-underscore）属性访问，例如。这种命名方式确保这些属性是由用户自定义添加的，而不是 spaCy 内置的属性。扩展属性可以是静态的，或者通过动态计算获得其值。为了让扩展属性在DocToken或Span上使用，必须通过方法进行注册。下面我们将探讨如何使用和定义这些扩展属性。
自然语言处理 (NLP) 的 5 个步骤
冷冻工厂
10-10 1449
例如，如果一句话读作“Manhattan speaks to all its people”，紧接着的下一句话读作“It calls out to Dave”，话语整合检查第一句话的上下文以理解后一句话中的“It”指的是曼哈顿。对于你的企业来说，挑战在于了解客户和潜在客户对你的产品和服务的看法，但时间和资源的限制使得这一点难以有效实现。单词“unimaginable”包含词素“un-”（一个表示否定语境的黏着词素）、“imagine”（整个单词的自由词素根）和“-able”（一个表示词根能力的黏着词素）。
openai chatgpt 大语言模型
Java_fenxiang的博客
10-14 949
简介OpenAI一个美国人工智能研究实验室，由非营利组织 OpenAI Inc，和其营利组织子公司 OpenAI LP 所组成。该组织于 2015 年由萨姆·阿尔特曼、里德·霍夫曼、杰西卡·利文斯顿、伊隆·马斯克、伊尔亚·苏茨克维、沃伊切赫·萨伦巴、彼得·泰尔等人在旧金山成立，他们共同认捐了 10 亿美元。微软先后支付了百...
谷歌-BERT-第四步：模型部署
深度安全实验室
10-12 365
谷歌-BERT-第四步：模型部署
sherpa-ncnn 语言模型简单对比
天飓的技术博客
10-12 556
在昨天把系统搞崩溃前，对sherpa-ncnn的中文模型做了一个简单的对比。这次使用的分别是sherpa-ncnn-streaming-zipformer-bilingual-zh-en-2023-02-13（以下简称bilingual-zh-en-2023-02-13）和sherpa-ncnn-streaming-zipformer-small-bilingual-zh-en-2023-02-16（以下简称small-bilingual-zh-en-2023-02-16）。
论文浅尝 | 树遍历：一种用知识图谱增强黑盒语言模型的零样本推理算法（ACL2024）...
开放知识图谱
10-14 524
笔记整理：https://arxiv.org/abs/2407.21358论文链接：刘佳俊，东南大学硕士，研究方向为知识图谱、大语言模型发表会议：ACL20241. 动机知识图谱能够提供给大语言模型可靠的、结构化的、领域上的以及最新的知识，现有的集成方案包括两种，一是将知识图谱数据用于训练或者微调大语言模型，二是结合知识图谱的知识提示大语言模型或者矫正大语言模型输出，都难以实现高效的耦合度较高的集...
【自然语言处理】Encoder-Decoder模型中Attention机制的引入
藓类少女的博客
10-12 864
Attention机制的引入，允许Decoder在生成每个目标词时，能够动态地根据源句子的不同部分调整注意力，使得模型能够处理更长的序列，并提高生成结果的准确性。Attention机制在机器翻译等任务中取得了显著的效果，并且为之后的Transformer等模型的出现奠定了基础。
信息检索模型深入解析：从布尔到向量空间
3. 概率模型：如BM25（Best Match 25）和语言模型，引入了概率理论，考虑了词序和文档长度等因素，提高了检索的准确性和召回率。概率模型通常比布尔模型和向量空间模型更能捕捉文档的语义信息。 4. 结构化模型和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值