Lucene的深度分页支持

最新推荐文章于 2024-09-21 21:06:57 发布
最新推荐文章于 2024-09-21 21:06:57 发布
阅读量1.2k 收藏
点赞数
分类专栏： Lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jollyjumper/article/details/52317289
版权
即searchAfter方法,在一直往下翻页时不需要准备一个爆大对堆，必须传一个ScoreDocs对象进去,不能传起始位置，这就是其优缺点。
jollyjumper
关注
专栏目录
深度分页：挑战海量数据检索
AI天才研究院
06-05 667
1.背景介绍 在当今的信息技术时代，数据的产生、存储和处理能力正在以前所未有的速度增长。随着大数据时代的到来，如何高效地检索和处理海量的数据成为了一个重要的课题。传统的分页技术已经无法满足当前的需求，因此我们需要探索一种新的技术——深度分页，来解决这一问题。 2.核心概念与联系 深度分页是一种
lucene分页查询
hpuly的博客
03-13 305
//创建indexsearcher对象 String ipath = PropertiesUtils.getPropertiesName(Const.SYSTEMCONFIG,"fileIndexPath"); IndexReader reader = DirectoryReader.open(FSDirectory.open(new File(ipath))); IndexSearcher
理解深度分页
qq_39750835的博客
08-10 2517
1. 深度分页 1.1 请求第9990~10000条之间的10条数据 成功请求，没有报错 1.2请求9999~10009之间的10条数据 报错如下，es指出请求的最大数据不能超过10000，但是我们数据达到了10009。请往下看 这是由于es拉取数据是这么拉取的： 1.3 深度分页： 从每个shard中拉取总数10009条，最后在汇总成30027条数据，再对30027条数据进行排序，然后，再从30027条数据中取出9999-10009之间的10条数据（分页），返回给用户。...
ES深度分页查询详解_es分页查询
最新发布
2401_87300302的博客
09-21 1555
搜索的查询和排序参数必须保持不变。当我们请求第 99 页（结果从 990 到 1000），需要从每个分片中获取满足查询条件的前1000个结果，返回给协调节点， 然后协调节点对全部 4000 个结果排序，获取前10个记录。当我们请求结果的第1页（结果从 1 到 10 ），每一个分片产生前 10 的结果，并且返回给 协调节点 ，协调节点对 40 个结果排序得到全部结果的前 10 个。es 默认采用的分页方式是 from+ size 的形式，在深度分页的情况下，这种使用方式效率是非常低的。
Lucene.Net
weixin_30376453的博客
01-31 155
做过站内搜索的朋友应该对Lucene.Net不陌生,没做过的也许会问：就不是个查询嘛！为什么不能使用Like模糊查找呢？ 原因很简单--模糊查询的契合度太低，匹配关键字之间不能含有其他内容。最重要的是它会造成数据库全表扫描，效率底下，即使使用视图，也会造成数据库服务器"亚历山大",那LuceneNet又是一个神马东西？如何使用？以下给出详细的介绍包括Demo Lucene简介 首先说明的是...
Lucene分页方式
Rainman的专栏
12-17 2291
 推荐的做法是为每一次分页导航都执行一次新的 查询。因为Hits中保存的并不是真正的Document，因此可以通过HIts.doc(index)的方式取出在一定范围内的Document。在获 得Hits后可以用类似下面的方法进行分页处理：private List processHits(Hits hits,int startIndex,int endIndex)throws Exception
Lucene 3.5 提供深度分页支持 searchAfter方法 方法的应用
weixin_34008933的博客
02-09 98
      最近Lucene项目管理委员会宣布Apache Lucene 3.5.0和Apache Solr 3.5.0已经可以使用。Lucene是一个高性能、支持全文搜索的文本搜索开发库。Solr是一个独立的搜索服务器，其核心使用了Lucene来做索引和搜索。       Lucene 3.5其中一个最新的特征就是深度分页支持，在之前的版本是提供分页的方法，只能根据自己的应用场景去写分页的方法...
lucene的两种分页操作
千丈之松的专栏
11-17 8558
基于lucene的分页有两种： lucene3.5之前分页提供的方式为再查询方式（每次查询全部记录，然后取其中部分记录，这种方式用的最多），lucene官方的解释：由于我们的速度足够快。处理海量数据时，内存容易内存溢出。 lucene3.5以后提供一个searchAfter，这个是在特大数据量采用（亿级数据量），速度相对慢一点，像google搜索图片的时候，点击更多，然后再出来一批。这种方式就是把数据保存在缓存里面。然后再去取。 以下是再查询部分代码：
Java架构直通车——ElasticSearch深度分页解决方案
01-20
**Java架构直通车——ElasticSearch深度分页解决方案** 在Java开发中，Elasticsearch作为一款强大的全文搜索引擎，常被用于海量数据的检索。然而，在处理分页查询时，特别是深度分页，会遇到一些挑战。本文将探讨...
Lucene5学习之分页查询
08-09
当处理大量数据时，传统的分页方式可能会遇到效率问题，特别是在处理深度分页（如第几百页）时。这是因为Lucene需要计算所有可能的匹配文档，再从中选择指定范围。为解决这个问题，可以使用`IndexSearcher`的`...
Elasticsearch 深入理解search After 处理深度分页问题
热门推荐
wangxuelei036的博客
06-10 2万+
深度分页问题大致可以分为两类 随机深度分页：随机跳转页面 滚动深度分页：只能一页一页往下查询 本文得search After 处理的时滚动深度分页的问题 在旧版本中，ES为深度分页有scroll search 的方式，官方的建议并不是用于实时的请求，因为每一个 scroll_id 不仅会占用大量的资源（特别是排序的请求），而且是生成的历史快照，对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况，比如要进行数据迁移或者索引变更之类的。那么在实时情况下如果处理深度分页的问题呢？es
lucene查询结果集分页代码
12-14
在lucene搜索分页过程中,可以有两种方式 一种是将搜索结果集直接放到session中,但是假如结果集非常大,同时又存在大并发访问的时候,很可能造成服务器的内存不足,而使服务器宕机 还有一种是每次都重新进行搜索,这样虽然避免了内存溢出的可能,但是,每次搜索都要进行一次IO操作,如果大并发访问的时候,你要保证你的硬盘的转速足够的快,还要保证你的cpu有足够高的频率 而我们可以将这两种方式结合下,每次查询都多缓存一部分的结果集,翻页的时候看看所查询的内容是不是在已经存在在缓存当中,如果已经存在了就直接拿出来,如果不存在,就进行查询后,从缓存中读出来. 比如:现在我们有一个搜索结果集 一个有100条数据,每页显示10条,就有10页数据. 安装第一种的思路就是,我直接把这100条数据缓存起来,每次翻页时从缓存种读取 而第二种思路就是,我直接从搜索到的结果集种显示前十条给第一页显示,第二页的时候,我在查询一次,给出10-20条数据给第二页显示,我每次翻页都要重新查询 第三种思路就变成了 我第一页仅需要10条数据,但是我一次读出来50条数据,把这50条数据放入到缓存当中,当我需要10--20之间的数据的时候,我的发现我的这些数据已经在我的缓存种存在了,我就直接存缓存中把数据读出来,少了一次查询,速度自然也提高了很多. 如果我访问第六页的数据,我就把我的缓存更新一次.这样连续翻页10次才进行两次IO操作 同时又保证了内存不容易被溢出.而具体缓存设置多少,要看你的服务器的能力和访问的人数来决定
【实践Solr深度分页】
来啦，老弟~
07-24 606
项目背景 Solr2ES, Solr Query with Pagination. 成功踩坑 Performance Problems with “Deep Paging” In some situations, the results of a Solr search are not destined for a simple paginated user interface. 查询时指定st...
Lucene分页
hehe_www2012的博客
04-25 319
首先明确需要如何分页，如总的记录数为10条，每次查询5条，则有第一次页数为 1，返回 0-5条，页数为2返回5-10，故可以设置一个变量currentPage页数 查询到总的数据后，for(int i = 0;i<5;i++) {} 这是第一次的数据 第二次的数据查询为 for(int i=5;i<10;i++){} 只要实现如上的循环即可 用变量进行代替则有,int current = currentPage; int currentLow = currentPage - ...
ElasticSearch 深度分页详解
程序猿DD
11-17 995
来源| OSCHINA 社区作者 | 京东云开发者-何守优原文链接：https://my.oschina.net/u/4090830/blog/55931281 前言ElasticSearch 是一个实时的分布式搜索与分析引擎，常用于大量非结构化数据的存储和快速检索场景，具有很强的扩展性。纵使其有诸多优点，在搜索领域远超关系型数据库，但依然存在与关系型数据库同样的深度分页问题，本文就此问题做一个...
[Lucene.Net] 分页显示
月黑杀人夜，风高放火时！
04-03 1957
很简单，依照以下公式计算几个数据即可。索引库文档总数DocumentCount = searcher.Reader.NumDocs();搜索结果总数 Count = Hits.Length();每页记录数 PageSize;结果页总数 (注意处理余数)PageCount = (Count / PageSize) + (Count % PageSize > 0 ? 1 : 0);要显示的页序号 (当
Lucene分页功能
天蓬元帅的博客
08-25 1214
package it.heima.luceneInde; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.Term; import org.apache.lucene.search.IndexSea...
ElasticSearch深度分页
yzh_1346983557的博客
05-07 2125
es的分页查询有3种方式：from+size，scroll，search_after，下面比较一下这3种方式。 一、from+size from+size的分页查询称为"浅"分页，它的原理很简单，就是查询前20条数据，然后截断前10条，只返回10-20的数据。这样其实白白浪费了前10条的查询。 在深度分页的情况下，这种使用方式效率是非常低的，比如from = 50000, size=10， es 需要在各个分片上匹配排序并得到50010条数据，协调节点拿到这些数据再进行全局排序处理，然后结果集中取最后
MySQL深度分页
Hello World
05-08 3131
深度分页问题的本质是在 MySQL 数据库中，通过 LIMIT 和 OFFSET 关键字进行分页时，MySQL 需要在每次查询时扫描整张表，直到找到当前页的数据。这种查询方式需要进行大量的磁盘 I/O 和内存操作，导致查询效率非常低下。当我们每次查询的记录数很小，但是查询次数很多时，就会产生大量的 I/O 操作，严重影响查询效率。例如有个sql假设假如 LIMIT 和 OFFSET 关键字同时进行使用的话，limit语句会先扫描offset+n行，然后再丢弃掉前offset行，返回后n行数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值