lucene中海量数据索引问题

最新推荐文章于 2019-08-14 22:21:37 发布
最新推荐文章于 2019-08-14 22:21:37 发布
阅读量402 收藏
点赞数
文章标签： lucene 存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wr411217393/article/details/6928814
版权

 最近要做一个全文搜索项目，从需求上来说，被索引、存储的数据量会越来越多，如果仅使用一个索引文件的话，索引文件说不定会变成几十G，上百G！

 

这样的话，搜索效率将越来越慢，有什么解决方案吗 ?


wr411217393
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Lucene实现万亿级多维检索与实时分析
weixin_52672149的博客
06-02 450
5月29日，录信数软技术总监郑其华在QCon全球软件开发者大会分享了“基于Lucene实现万亿级多维检索与实时分析”的主题演讲，现场座无虚席，活动在浓烈的技术讨论氛围中圆满结束。下面，我们将分享演讲全文及课件。 一、演讲全文 1.万亿挑战之一：数据存储 第一个关于数据存储。平常我们保存数据很简单，往硬盘里面写就行了。海量数据就没那么简单，会面临很多问题。比如成本问题。是使用SSD固态硬盘还是机械磁盘，是使用100块大磁盘，还是使用1万块小磁盘，在成本上都会造成巨大的差异。 其次，数据的安全性也是一个
Lucene
weixin_43844237的博客
12-06 146
1. 全文搜索是什么？ 从全文数据中进行检索就叫全文检索(全文搜索)。是基于文本的搜索。 结构化数据：指具有“固定格式”或“有限长度”的数据，如数据库，元数据等; 非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等; 半结构化数据，如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。 2. 全文检索 非结构化数据顺序扫描很慢，对结构化数据的搜索...
利用lucene对整个数据库建立索引
chpswg的专栏
03-12 883
利用lucene对整个数据库建立索引  导言： 如果要对整个数据库做精确查询或模糊查询，我们怎么才可以做到？还是通过SQL查询吗？答案是否定的。因为，通过SQL对整个数据库做精确查询或模糊查询，速度将非常的慢； lucene解决了这个问题。通过对表或者文本文件预先建立索引，可以很快的实现全文检索。 思路： 1、通过SQL得到所有表名的集合---->2、遍历所有的表，分别为每个
lucene 大量数据搜索的处理方案
weixin_30698527的博客
03-14 106
1.在大规模的应用中，Lucene更适合用于狭义的“搜索”，而不应当负责数据的存储。我们看看Lucene的源代码也可以知道，Document和 Field的存储效率是不够好看的。手机之家的团队也发现了这一点，他们的办法是，用Lucene存放索引，用Memcache + Berkeley DB(Java Edition)负责存储。这样有两个好处，一是减小了Lucene的数据规模，提高了程序...
lucene中Document的实质
lonffy的专栏
03-31 643
Document 代表了一个需要进行索引的“单元”，任何需要索引的“文件”都必须被转为Document 对象才能被索引和搜索到。 lucene只对Document对象创建索引 任何数据源经过组织都可以构建一个Document类型 建立索引的第一步就是把不同的数据源组织为一个Document类型的对象
基于Lucene索引的分析与实现
12-23
Lucene，作为一个强大的Java全文检索库，提供了便捷的索引和搜索功能，为解决海量数据的检索难题提供了有效的解决方案。 全文检索是指从大量非结构化数据中提取关键信息，构建索引，然后通过索引快速定位所需信息的...
海量数据分析平台元数据管理的设计研究
01-12
针对目前元数据管理系统中的不足，将高效、快捷、灵活作为目标，设计海量数据分析平台的元数据管理系统。系统使用XML Schema对元数据结构进行描述，并且以此结构自动在后台XML数据库系统中创建库，实现用户界面的...
海量数据引擎SF1R.zip
07-16
SF1R是一个分布式的存储搜索一体化海量数据引擎。SF1R来自于iZENECloud团队多年的 研发成果，并且已经在商业网站上经受住了严苛的考验。2014年，iZENECloud团队把SF1R 开放给社区，采用Apache License 2，希望共同...
论文研究-基于Lucene的地名数据库快速检索系统.pdf
07-22
针对传统关系型数据库海量地名数据检索效率低下的问题，提出了一种盘古分词和Lucene全文检索相结合的地名数据库快速检索方法。首先，设计了一种地名数据表结构，比较了几种常用开源分词器的中文分词性能，并选用性能...
SQL2005CLR函数扩展 - 关于山寨索引
09-10
此外，面对海量数据时，重建索引可能导致CPU负载和磁盘I/O负载过高。为了减少单一目录下的文件数量，可以考虑根据主键的哈希值增加文件目录深度。 4. **演示效果**：文中提供了一段示例代码，展示了如何在名为`test...
lucene的性能数据_并发
canduecho的专栏
09-07 1404
lucene的性能数据_并发关键字: lucene的性能数据_并发1, 环境:windows 2003 + tomcat6.0.14 + lucene 2.2.0配置: Intel Pentium D CPU 3.00GHz,3.00GHz,992MB内存索引数据量:200万loadrunner 200并发测试,每秒钟请求一次.平均hit/sec = 187.5
提高lucene建立索引的效率（大数据量时）
asheng1116的专栏
12-28 1239
第一种方式：IndexWriter类中关系到索引创建效率的几个方法 一、SetMergeFactor（合并因子） SetMergeFactor是控制segment合并频率的，其决定了一个索引块中包括多少个文档，当硬盘上的索引块达到多少时， 将它们合并成一个较大的索引块。当MergeFactor值较大时，生成索引的速度较快。 MergeFactor的默认值是10，建议在建立索引前将其设置的大...
关于海量数据存储与查询的思考
weixin_30608503的博客
08-14 858
前段时间我做了一个SCA日志分析服务，该功能主要是从多台生产服务器上下载当天的日志数据，并且存在数据库中。日志数据主要用于支持维护组查询异常信息以及进行一些统计工作。 开始方案是通过ORACLE+SpringJDBCTemplate来实现，代码实现后发现一个可怕的问题，日志解析入库耗费的时间非常大，查看了一下数据库数据解析1w条日志用时10min左右数据库就有将近20w条数据，但是一般...
Lucene系列 - 索引(七) - 对数据库记录建立索引
大泡泡的专栏
04-06 3341
数据库本就具有检索功能，使用标准的Sql语句很容易从一个表中获取指定的内容。 另一方面，越来越多的应用系统要求文本的模糊查找，各大数据库厂商提供了各种全文检索的索引功能，来支持全文检索，但是效果一般，尤其是在大数据量的情况下，对服务器和系统的设置都要求专业人士来维护。 另一方面企业级检索、本地检索的发展，要求把不同的数据源通过同一的方式检索出来，实现异构信息的整合，把各种非结构化数据、半结构化数
Lucene简单使用一之文件索引
zwrlj527的专栏
09-20 857
lucene做文件索引 最近公司的一个基于开源项目要做的优化，查找目录下文件目录增加一个关键字查询，直接使用目录getchild考虑到文件数量大后的性能，领导让加个文件索引。 文件索引，这里我考虑的这个关键字查询需要匹配的无非就是3个方面，文件名包含、文件路径包含、文件内容包含。 来来，我们先看下界面: 红框线就是优化新增的，李彪上也增加了一列展示文件路
lucene 性能优化
最新发布
10-26
lucene 是一种开源的全文搜索引擎库，虽然它已经具备了很好的性能，但在处理海量数据时，还需要进行一些性能优化的工作。以下是一些优化技巧： 1. 建立索引：建立合适的索引结构对于搜索性能至关重要。可以通过调整分词器、字段类型等参数来优化索引的构建过程。 2. 使用缓存：Lucene 提供了一些缓存机制，可以缓存频繁使用的结果，例如过滤器缓存、排序缓存等。合理利用缓存可以减少磁盘 I/O 操作，提升搜索效率。 3. 硬件优化：在硬件方面，可以使用更高性能的硬盘、增加内存等方式来提高 Lucene 的性能。特别是加大文件系统缓存可以加快索引和搜索的速度。 4. 查询性能优化：可以通过使用合适的搜索技术（如布尔查询、短语查询等）、调整查询权重、优化查询语句等方式来提高搜索效率。 5. 批量操作：对于大规模数据的操作，可以尽量使用批量操作方式，减少频繁的单条数据操作，以提高效率。比如通过批量提交文档，批量删除文档等方式。 6. 关键词匹配优化：对于一些特定的场景，可以通过使用同义词字典、拼写纠错、中文分词等方式来优化关键词的匹配，提高搜索的准确性。 7. 数据分片：对于大规模数据，可以将索引数据分片存储在多台机器上，通过分布式的方式来提高搜索的并发能力和吞吐量。 总的来说，lucene 性能优化涉及多个方面，包括索引构建、查询优化、硬件优化、批量操作等，需要根据具体应用场景和需求来选择合适的优化策略。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值