【elasticsearch】ES 相似文章检测

最新推荐文章于 2024-04-29 23:41:36 发布
最新推荐文章于 2024-04-29 23:41:36 发布
阅读量1.5k 收藏 5
点赞数 2
分类专栏： 大数据-Elasticsearch 文章标签： elasticsearch 相似 文章 检测
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/117756583
版权
大数据-Elasticsearch 专栏收录该内容
561 篇文章 548 订阅 ¥79.90 ¥99.00
订阅专栏
本文介绍了如何运用SimHash算法处理大文本去重问题，通过生成的64位文档指纹来计算两篇文章的海明距离，以此判断文章的重复性。并提及了一个实现海明距离计算的Elasticsearch插件：https://github.com/joway/elasticsearch-hamming-plugin。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

对于大文本的去重，可以参考 SimHash 算法，通过 SimHash 可以提取到文档指纹（64位），两篇文章通过 SimHash 计算海明距离即可判断是否重复。海明距离计算，可以通过插件实现：https://github.com/joway/elasticsearch-hamming-plugin

九师兄
关注
专栏目录
订阅专栏
【Elasticsearch】Elasticsearch中的相似度评分介绍
九师兄
07-20 1786
1.概述 转载：Elasticsearch中的相似度评分介绍 本文要点 相关性得分是一个搜索引擎的核心，了解它的工作原理对创建一个好的搜索引擎至关重要。 Elasticsearch 使用了两种相似度评分函数：5.0 版本之前的 TF-IDF 以及 5.0 版本之后的 Okapi BM25。 TF-IDF 通过衡量一个单词在局部的常见性以及在全局的罕见程度来确定查询的相关性。 Okapi BM25 是基于 TF-IDF 的，它解决了 TF-IDF 的缺陷，使函数结果与用户的查询更相关。 我们可以使用 El
Elasticsearch能干什么，关于Elasticsearch及实例应用
weixin_48156881的博客
05-27 1855
简单介绍一下Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它可以让你快速和近乎实时地存储、搜索和分析海量的数据。它通常被用作底层引擎/技术，为具有复杂搜索功能和需求的应用程序提供动力。Elasticsearch在Lucene StandardAnalyzer之上提供了一个分布式系统，用于索引和自动类型猜测，并利用基于JSON的REST API来引用Lucene的功能。 Elasticsearch开箱即用，他的默认值已经调整到最优，并把复杂性隐藏起来，不会让初学者看到复杂的内核。它有一个
Paper-review:es的论文查重系统
05-04
Paper-review es的论文查重系统 中文分词框架word
elasticsearch 相似推荐
weixin_34290000的博客
11-12 610
curl -XPUT 'http://localhost:9200/recommend?pretty' -d' { "settings": { "number_of_replicas" : 2, "similarity" : { "my_similarity" : { "type" : "BM25", "k1" : 1....
Elasticsearch中对文章进行索引和查重
最新发布
★【World Of Moshow 郑锴】★
04-29 703
要在Elasticsearch中对文章进行索引和查重，可以按照以下步骤操作：安装Elasticsearch并启动服务。安装Python的Elasticsearch客户端库，可以使用命令进行安装。编写Python代码，使用Elasticsearch客户端库对文章进行索引和查重。在more_like_this查询中指定了要比较的字段，设置了最小词频和最大查询词数
ES 相似度算法设置（续）
djph26741的博客
02-27 592
Tuning BM25 One of the nice features of BM25 is that, unlike TF/IDF, it has two parameters that allow it to be tuned: k1This parameter controls how quickly an increase in term frequency res...
Java操作ElasticSearch，实现SimHash比较文章相似度
clz1314521的专栏
02-04 542
最后是ES查询逻辑，根据传入的SimHash，先使用ES找到至少一组SimHash相等的文档，然后在Java代码中比较剩下三组是否满足要求。说干就干，以下是我的实现代码，基于网上已有的算法进行了一些修改，总之给大家抛砖引玉了，如果有做的不好的地方还请大家指出。3、需要查询一篇文章的相似文章时，根据文章ID查到SimHash值，再去ES查询匹配的其它文章ID，不过这里。4、需要查询一篇文章的相似文章时，根据文章ID，查询结果表，找到相似文章。总之我把我的思路分享给大家，可能我代码写的比较烂，还请大家指点。
ElasticSearch计算文本相似度的算法总结
缘分天空
05-18 5575
TF-IDF算法，向量空间模型，布尔模型；
使用Elasticsearch做向量空间内的相似性搜索
点火三周的专栏
01-30 9868
文章目录索引`Word Embeddings`评分的余弦相似度局限性通过抽象属性搜索 Elasticsearch做文本检索是基于文本之间的相似性的。在Elasticsearch 5.0中，Elasticsearch将默认算法由TF / IDF切换为Okapi BM25，该算法用于对与查询相关的结果进行评分。对Elasticsearch中的 TF / IDF 和 Okapi BM25感兴趣的可以直接...
ElasticSearch-Kafka-RabbitMQ
weixin_73241486的博客
04-04 1050
Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎， 每个字段都被索引并可被搜索，可以快速存储、搜索、分析海量的数据。Kafka是分布式发布-订阅消息系统是一个可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。组件:主题(Topic)：Kafka主题是一堆或一组消息。生产者(Producer)：在Kafka，生产者发布通信以及向Kafka主题发布消息。消费者(Consumer)：Kafka消费者订阅了一个主题，并且还从主题中读取和处理消息。
1.ELK之Elasticsearch&Kibana一篇入门(安装/分片/操作流程/常用语句/分词)
mijichui2153的博客
08-05 7212
elasticsearch安装
elasticsearch 相似文档推荐
sslfk的博客
02-10 1077
参考：https://www.elastic.co/guide/en/elasticsearch/reference/7.5/query-dsl-mlt-query.html 对应的代码为： { "query": { "more_like_this" : { "fields" : ["name.first", "name.last"], "like" : [ { "_inde
simhash进行文本查重
chivalry
02-01 3611
http://blog.csdn.net/lgnlgn/article/details/6008498 有1亿个不重复的64位的01字符串，任意给出一个64位的01字符串f，如何快速从中找出与f汉明距离小于3的字符串？   大规模网页的近似查重 主要翻译自WWW07的Detecting Near-Duplicates for Web Crawling  WWW上存在大量内
Elasticsearch
u011607686的博客
04-01 148
Elasticsearch lasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎. Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文...
word文档查重_论文查重有什么原则？
weixin_39522312的博客
12-12 270
论文查重就是将自己写好的论文上传到查重系统进行检测，系统会通过数据库的比对得出重复值，对于重复的内容，报告中会有详细的标记，一般都是使用红色字体。文件目录：我们将论文提交到系统之后，系统会按照论文的目录对每个章节进行划分。一般这个时候论文的目录是不参与检测的，系统是直接利用章节目录信息来区分每一个章节的重复率；要是上传的论文没有目录信息，那么软件就会按照一万字符来进行断章检测。阈值：中国知网的引用...
Elasticsearch去重查询
segegefe的博客
04-18 6116
1、前言 最近遇到一个es数据查询去重的需求，我这边需要的是获取去重后的结果，查询官网资料和各位大神的经验后，总结一下elasticsearch去重查询功能。 2、Elasticsearch去重功能 关系型数据库中，比如MySQL，可以通过distinct进行去重，一般分为两种： 1 ) 统计去重后的数量 select distinct(count(1)) from test; 2 ) 获取去重后的结果 select distinct name,sex from person; test，p
Java 简单论文查重程序（SimHash+海明距离算法）
热门推荐
azhu12138的博客
09-24 1万+
目录：0、需求1、前言1.1、开发环境1.1、整体流程1.2、类1.3、核心算法2、接口的设计和实现2.1、读写 txt 文件的模块2.2、SimHash 模块（核心模块）2.3、海明距离模块2.4、main 主模块3、接口部分的性能改进3.1、性能分析4、单元测试4.1、读写 txt 文件的模块 的测试4.2、SimHash 模块 的测试4.3、海明距离模块 的测试4.4、主测试 MainTest5、异常处理5.1、设计与实现5.2、测试6、PSP 表格7、参考 0、需求 题目：论文查重 描述如下： 设计
【原创】elasticsearch 一些整理总结
张志鹏的博客
07-09 1328
16年公司检索系统是用的 solr, 但使用过程中发现太糟心, 十分难用- - 17年初换到 es. 把当时整理的知识点记录一下. 机器配置: 1台 centos, 2台 ubuntu. 内存: 64G, CPU: 8核 硬盘: 8TB(SAS, es 数据), 250GB(SSD, 系统) es 版本: 5.4.0 数据量: 目前为止一共40亿数据 内存: jvm 分配31G, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值