lucene 索引速度

最新推荐文章于 2024-07-16 17:20:54 发布
最新推荐文章于 2024-07-16 17:20:54 发布
阅读量214 收藏
点赞数
分类专栏： lucene 文章标签： lucene 性能优化 存储 电信 测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wuyue521_2008/article/details/6756767
版权

 最近做电信项目需要做一个全文索引以减少查询时间，我们该项目的一个表一天产生的数据为15G左右，需要对大概3个月的数据进行处理，目录结构为信息日期+唯一目录号。

参考了很多文章， 点击打开链接和  性能优化

小弟不才只能在18秒只能索引64G数据，做了一下测试，发现时间主要是花费在new indexSearch上，其实索引只花费了3秒左右的时间，剩下的十几秒都花在了new indexsearch上，也曾想过把已经创建好的indexsearch放到map中存储起来，但由于存储的数据量过大，在查询不久后就会报内存溢出的异常。

对性能优化个人理解是在数据量不是太大的情况下最好是建到一个文件中，这样以后在查询的时候只需new 一个indexsearch就能查到数据，并且在创建了之后就不用在new了

wuyue521_2008
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Lucene 中的 Stored Fields 存储优化
去哪儿网技术沙龙
02-05 626
前言 Qunar 酒店的搜索和 suggest 是基于 Lucene 构建的，在我们的使用场景中，由于召回和排序是作为两个单独的应用，当召回的文档数量比较多的时候，响应速度较慢，Young GC 也比较严重，导致并发量很难上去。经过分析我们发现，主要的问题是因为需要获取大量文档的存储字段，造成反序列化比较多，所以影响速度，GC 也比较多。 Lucene 正常的使用场景是不期望返回这么多文档的，一般是排序完成后只返回其中一页的结果，所以问题不明显，尽管也可以通过一些方法（比如粗排序）减少返回文档的数量，但问题
lucene索引结构原理
11-13
**Lucene索引结构原理** Lucene是Apache软件基金会的开放源代码全文搜索引擎库，它为Java开发人员提供了强大的文本搜索功能。理解Lucene的索引结构原理对于优化搜索性能和设计高效的搜索应用至关重要。 首先，我们...
影响Lucene索引速度原因以及提高索引速度技巧
10-16 1684
在网上看了一篇外文文章，里面介绍了提高Lucene索引速度的技巧，分享给大家。先来看下影响索引的主要因素：MaxMergeDocs该参数决定写入内存索引文档个数，到达该数目后就把该内存索引写入硬盘，生成一个新的索引segment文件。所以该参数也就是一个内存buffer，一般来说越大索引速度越快。MaxBufferedDocs这个参数默认是disabled的，因为Lucene中还用另
lucene 创建索引慢的问题
何曾走见的专栏
02-26 523
网上随便一搜都能搜到很多关于lucene的教程，这里就不细展开了。简单说下过程： IndexWriterConfig indexWriterConfig = new IndexWriterConfig(new IKAnalyzer(true)); indexWriter = new IndexWriter(directory, indexWriterConfig); Document doc = new Document(); indexWriter.addDocument(doc); indexWri
针对Lucene 建立索引过程与搜索过程耗费时间的矛盾一点思路
weixin_30569001的博客
05-21 114
使用lucene,首先要做的就是建立索引文件,这是一个非常耗时的工作,特别是针对大数据量进行索引的时候更是如此. Lucene 提供了几个优化参数 mergeFactor,maxMergeDocs,minMergeDocs,首先说的是mergeFactor, 默认值为10,控制索引段的合并频率和大小,即每当有10个Document对象添加到索引段时,lucene就会在磁盘建立一个新的段,当创建...
lucene索引MySQL原因_影响Lucene索引速度原因以及提高索引速度技巧
weixin_39693193的博客
02-03 100
在网上看了一篇外文文章，里面介绍了提高Lucene索引速度的技巧，分享给大家。 先来看下影响索引的主要因素： MaxMergeDocs 该参数决定写入内存索引文档个数，到达该数目后就把该内存索引写入硬盘，生成一个新的索引segment文件。 所以该参数也就是一个内存bu在网上看了一篇外文文章，里面介绍了提高Lucene索引速度的技巧，分享给大家。先来看下影响索引的主要因素：MaxMergeDocs...
浅谈MySQL和Lucene索引的对比分析
09-10
而在Lucene中，倒排索引的设计使得快速全文检索成为可能，但同时也需要考虑如何有效地存储和管理Term Dictionary以及Posting Lists，以降低内存占用和提升检索速度。 总的来说，MySQL和Lucene的索引设计反映了它们...
基于Lucene索引的分析与实现
12-23
- 索引优化：合并多个段以减少磁盘碎片，提高检索速度。 - 搜索执行：根据用户查询，搜索倒排索引并返回相关文档。 总的来说，理解并掌握Lucene的索引结构和实现原理对于开发高效的全文检索应用至关重要。通过深入...
lucene索引
04-14
**Lucene索引详解** Lucene是Apache软件基金会的一个开源全文搜索引擎库，它提供了一种高效、可扩展的全文检索框架。作为一个纯Java库，Lucene可以被集成到任何Java应用中，帮助开发者轻松实现搜索功能。在深入理解...
lucene索引结构原理.docx
11-13
而在Lucene中，基本单位是Document，它同样由多个字段组成，但Lucene索引的是这些字段的内容，以加速文本检索。 - **索引构建**：Lucene支持增量索引和批量索引，可以处理数据源的小幅变化或大规模数据。数据库通常...
UnityECS学习中问题及总结entityQuery.ToComponentDataArray和entityQuery.ToEntityArray区别
07-13 503
在这个示例中，`unitMoverArray` 包含了所有匹配实体的 `UnitMover` 组件数据，而 `entityArray` 包含了所有匹配的实体。- **返回类型**: 返回一个包含特定组件数据的数组，数组类型为 `T[]`，其中 `T` 是组件数据类型。- **返回类型**: 返回一个包含实体的数组，数组类型为 `Entity[]`。- **注意**: 这个方法返回的是组件数据数组，而不是实体数组。- **注意**: 这个方法返回的是实体数组，而不是组件数据数组。// 使用组件数据数组。
SRv6 BE 配置过程（VRF ping通场景）
07-16 115
6、PE 和 CE 建动态路由，PE 建在 VRF 下面，这里用 OSPF。4、在 NE1 和 NE4 上起 BGP，并建立 vpnv4 邻居关系。8、SRv6 通过 vpnv4 发布 prefix-sid，隧道迭代进入。1、起core igp，全程配 IPv6 地址，这里我们用 isis。2、使能 SRv6，在 SRv6 下配置 prefix-sid。7、做 BGP 和 OSPF 做双向注入（ BGP 不需要 ）3、在 IGP 中通告 prefix-sid。5、边界路由器 PE 配置 vrf，接口划入。
SAP ABAP性能优化分析工具
woniu_maggie的博客
07-16 228
ST05是最常见的一个performance trance的工具，可以进行SQL、Buffer、Enqueue、RFC 、HTTP等多种类型的追踪， 通常我们使用ST05踪程序运行过程中的DB访问情况。然后，在SM50中，找到并选中相关的目标程序的process，通过Administration >> Program >> Debugging即可跳转到相关的程序位置。通过SM50中的debug跳转找到的位置，说明SAP AS 上的进程在此位置耗费了较长的处理时间，因而通常这个位置就是需要优化的程序位置。
Android 性能优化之卡顿优化
最新发布
xiangxiongfly
07-16 726
BlockCanary 是一个用于 Android 应用开发者的性能分析工具，它可以帮助开发者发现和解决应用中的卡顿问题。BlockCanary 通过在应用中植入检测逻辑，监控应用运行时的线程状态，并在检测到卡顿发生时记录相关信息。它的主要目的是帮助开发者追踪和分析应用中可能导致卡顿的代码段或操作。ANR（Application Not Responding）是指应用程序未响应，Android 系统对于一些事件需要在一定时间范围内完成，如果超过预定时间未能得到有效响应或者响应时间过长，都会造成 ANR。
SAP ABAP性能优化
woniu_maggie的博客
07-16 600
SAP ABAP性能优化
Android系统上常见的性能优化工具
netwalk的专栏
07-14 333
这些工具可以开发人员更全面、深入地理解和优化 Android 应用的性能。
基于 cookiecutter 的 python 项目模板
易迟的专栏
07-11 791
使用 Python 这种动态语言进行 web 开发，团队中经常会遇到的问题就是代码的质量比较难控制。Python 语言本身灵活性比较高，不加控制的情况下代码质量可能最后很难维护。而且代码的各方面的标准，比如提示的 lint，代码格式化等等如果不加规范，不同开发者的协作也会比较困难。因此从公司角度来看，一个统一的代码规范是很有必要的。在 Python 的开发过程中，可以选择公司希望遵循的 Python 开发相关的规范，那么如何更好地将这些规范组织起来呢？
大白话之SpringMVC中的ModelAndView
qq_36634055的博客
07-12 247
就像是你吃东西的地方，它决定了数据（Model）将以什么样的形式展现给用户。这可能是一个HTML页面，一个JSON响应，或者甚至是一张图片。是一个非常关键的类，它用于封装控制器(Controller)方法执行后的两个重要输出：模型数据(Model)和视图(View)。就像是服务员把厨房做好的食物送到指定的位置，这样顾客就可以享用美食了。在Web开发中，这就是如何将数据展示给用户的整个过程。就像是你要的食物，是你希望展示给用户的数据。比如，你可能想要在网页上显示一个用户的名字和他们的订单详情，这些都是。
软件测试——面试八股文（入门篇）
yjt2045263063的博客
07-15 948
α测试：在受控的环境中进行，由用户在开发者的场所进行，并且在开发者对用户的指导下进行测试，开发者负责记录发现的错误和使用中遇到的问题β测试：在开发者不能控制的环境中的真实应用，由软件的最终用户们在一个或多个客户场所下进行，由用户记录在测试中遇到的一系列问题，并定期报给开发者。结语鉴于篇幅所限，选出经典17个软件测试面试题（入门篇）需要完整面经的朋友可以关注并私信我关键词“资料”免费领取。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值