Lucene的使用

最新推荐文章于 2022-12-17 19:59:39 发布
最新推荐文章于 2022-12-17 19:59:39 发布
阅读量3.5k 收藏 1
点赞数
分类专栏： Java技术 文章标签： lucene query file date java calendar

 

如果你想快速查询你磁盘上文件，或查询邮件、Web页面，甚至查询存于数据库的数据，你都可以借助于Lucene来完成。但是要完成查询就必须先建立索引。首先从Lucene API说起：
1、 Lucene API（核心操作类）
IndexWriter创建和维护索引（向原索引中添加新Document，设置合并策略、优化等）
FSDirectory最主要用来存储索引文件的类，表示将索引文件存储到文件系统
Document索引和查询的原子单元，一个Document包含一系列Field
IndexReader一个抽象类，提供了访问索引的接口，当然访问索引也可以通过它的子类来完成
Analyzer分词类，它有一系列子类，都是用来将文本解析成TokenStream
Searcher用于查询索引的核心类
2、创建索引
Java代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. Document doc = new Document();
  4. doc.add(new Field("id", "101", Field.Store.YES, Field.Index.NO));
  5. doc.add(new Field("name", "kobe bryant", Field.Store.YES, Field.Index.NO));
  6. writer.addDocument(doc);
  7. writer.optimize();
  8. writer.close();
Java代码 复制代码 收藏代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. Document doc = new Document();
  4. doc.add(new Field("id", "101", Field.Store.YES, Field.Index.NO));
  5. doc.add(new Field("name", "kobe bryant", Field.Store.YES, Field.Index.NO));
  6. writer.addDocument(doc);
  7. writer.optimize();
  8. writer.close(); 
Directory dir = FSDirectory.open(new File("lucene.blog"));
IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);
Document doc = new Document();
doc.add(new Field("id", "101", Field.Store.YES, Field.Index.NO));
doc.add(new Field("name", "kobe bryant", Field.Store.YES, Field.Index.NO));
writer.addDocument(doc);
writer.optimize();
writer.close();
如上所示将索引文件存储于工作目录下lucene.blog文件夹 ，创建了Document，向Document里添加了两个Field id和name，然后使用IndexWriter的addDocument(Document)方法将其添加到索引目录下的索引文件中，然后使用IndexWriter的optimize()方法进行对索引文件优化，最后关闭IndexWriter;
3、通过IndexWriter删除索引中Document
Java代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. writer.deleteDocuments(new Term("id", "101"));
  4. writer.commit();
  5. writer.close();
Java代码 复制代码 收藏代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. writer.deleteDocuments(new Term("id", "101"));
  4. writer.commit();
  5. writer.close(); 
Directory dir = FSDirectory.open(new File("lucene.blog"));
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);
writer.deleteDocuments(new Term("id", "101"));
writer.commit();
writer.close();
如上先打开索引位置（工作目录下lucene.blog文件夹 ），然后直接调运IndexWriter的deleteDocuments(Term)方法删除上面2中创建的Document，注意必须调运commit()方法，上面2中之所以没有commit()是因为optimize()方法中存在默认Commit方法；
4、通过IndexWriter更新索引中Document
Java代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. Document doc = new Document();
  4. doc.add(new Field("id", "101", Field.Store.YES, Field.Index.ANALYZED)); // Field.Index.ANALYZED
  5. doc.add(new Field("name", "kylin soong", Field.Store.YES, Field.Index.ANALYZED));
  6. writer.updateDocument(new Term("id", "101"), doc);
  7. writer.commit();
  8. writer.close();
Java代码 复制代码 收藏代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);
  3. Document doc = new Document();
  4. doc.add(new Field("id", "101", Field.Store.YES, Field.Index.NO));
  5. doc.add(new Field("name", "kylin soong", Field.Store.YES, Field.Index.NO));
  6. writer.updateDocument(new Term("id", "101"), doc);
  7. writer.commit();
  8. writer.close(); 
Directory dir = FSDirectory.open(new File("lucene.blog"));
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);
Document doc = new Document();
doc.add(new Field("id", "101", Field.Store.YES, Field.Index.NO));
doc.add(new Field("name", "kylin soong", Field.Store.YES, Field.Index.NO));
writer.updateDocument(new Term("id", "101"), doc);
writer.commit();
writer.close();
通过IndexWriter的updateDocument(Term, Document)来完成更新，具体是将包含Term("id", "101")的Document删除，然后将传入的Document添加到索引文件；
5、Field选项意义
Java代码
  1. Field field = new Field(
  2. "101",
  3. "kobe bryant",
  4. Field.Store.YES,
  5. Field.Index.ANALYZED,
  6. Field.TermVector.YES);
Java代码 复制代码 收藏代码
  1. Field field = new Field(
  2. "101",
  3. "kobe bryant",
  4. Field.Store.YES,
  5. Field.Index.ANALYZED,
  6. Field.TermVector.YES); 
Field field = new Field(
		"101",
		"kobe bryant",
		Field.Store.YES,
		Field.Index.ANALYZED,
		Field.TermVector.YES);
如上代码显示Field各属性设置情况，下面简单说明这些属性选项的意义
Field.Store.*决定是否将Field的完全值进行存储，注意：不能将整个文本内容存储，这样导致索引文件过大
Field.Store.YES存储，一旦存储，你可以用完整的Field的完全值作为查询条件查询（id:101）
Field.Store.NO不存储
Field.Index.*控制Field的值是否可查询通过索引成的索引文件
Field.Index.ANALYZED用Analyzer将Field的值分词成多个Token
Field.Index.NOT_ANALYZED不对Field的值分词，将Field的值作为一个Token处理
Field.Index.ANALYZED_NO_NORMS类似ANALYZED，但不存常规信息到索引文件
Field.Index.NOT_ANALYZED_NO_NORMS类似NOT_ANALYZED，但不存常规信息到索引文件
Field.Index.NO不进行索引，Field的值不可被搜索
如果你想要检索出唯一的terms在搜索时，或对搜索结果进行加亮处理等操作是Field.TermVector.*是必要的
Field.TermVector.YES记录唯一的terms，当重复发生时记下重复数，在不做额外处理
Field.TermVector.WITH_POSITIONS在上面基础上记录下位置
Field.TermVector.WITH_OFFSETS在TermVector.YES基础上记录偏移量
Field.TermVector.WITH_POSITIONS_OFFSETS在TermVector.YES基础上记录偏移量和位置
Field.TermVector.NO不做任何处理
6、索引numbers
Java代码
  1. Document doc = new Document();
  2. NumericField field1 = new NumericField("id");
  3. field1.setIntValue(101);
  4. doc.add(field1);
  5. NumericField field2 = new NumericField("price");
  6. field1.setDoubleValue(123.50);
  7. doc.add(field2);
Java代码 复制代码 收藏代码
  1. Document doc = new Document();
  2. NumericField field1 = new NumericField("id");
  3. field1.setIntValue(101);
  4. doc.add(field1);
  5. NumericField field2 = new NumericField("price");
  6. field1.setDoubleValue(123.50);
  7. doc.add(field2); 
Document doc = new Document();
NumericField field1 = new NumericField("id");
field1.setIntValue(101);
doc.add(field1);
NumericField field2 = new NumericField("price");
field1.setDoubleValue(123.50);
doc.add(field2);
如上所示为索引numbers方法；
7、索引Date和Time
Java代码
  1. Document doc = new Document();
  2. doc.add(new NumericField("timestamp").setLongValue(new Date().getTime()));
  3. doc.add(new NumericField("day").setIntValue((int) (new Date().getTime()/24/3600)));
  4. Calendar cal = Calendar.getInstance();
  5. cal.setTime(new Date());
  6. doc.add(new NumericField("dayOfMonth").setIntValue(cal.get(Calendar.DAY_OF_MONTH)));
Java代码 复制代码 收藏代码
  1. Document doc = new Document();
  2. doc.add(new NumericField("timestamp").setLongValue(new Date().getTime()));
  3. doc.add(new NumericField("day").setIntValue((int) (new Date().getTime()/24/3600)));
  4. Calendar cal = Calendar.getInstance();
  5. cal.setTime(new Date());
  6. doc.add(new NumericField("dayOfMonth").setIntValue(cal.get(Calendar.DAY_OF_MONTH))); 
Document doc = new Document();
doc.add(new NumericField("timestamp").setLongValue(new Date().getTime()));
doc.add(new NumericField("day").setIntValue((int) (new Date().getTime()/24/3600)));
Calendar cal = Calendar.getInstance();
cal.setTime(new Date());
doc.add(new NumericField("dayOfMonth").setIntValue(cal.get(Calendar.DAY_OF_MONTH)));
实质上对Date和Time的处理是将Date和Time转化为numbers来处理，注意：当然也可以把Date和Time以及上面的numbers当做字符串来处理，不过这样影响查询；
8、IndexWriter的其他同法
Java代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.LIMITED);
  3. writer.setMaxFieldLength(1);
  4. MergePolicy policy = new LogByteSizeMergePolicy(writer);
  5. writer.setMergePolicy(policy);
  6. writer.optimize(5);
  7. writer.close();
Java代码 复制代码 收藏代码
  1. Directory dir = FSDirectory.open(new File("lucene.blog"));
  2. IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.LIMITED);
  3. writer.setMaxFieldLength(1);
  4. MergePolicy policy = new LogByteSizeMergePolicy(writer);
  5. writer.setMergePolicy(policy);
  6. writer.optimize(5);
  7. writer.close(); 
Directory dir = FSDirectory.open(new File("lucene.blog"));
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.LIMITED);
writer.setMaxFieldLength(1);
MergePolicy policy = new LogByteSizeMergePolicy(writer);
writer.setMergePolicy(policy);
writer.optimize(5);
writer.close();
如上IndexWriter.MaxFieldLength.LIMITED设定了Field截取功能，如果Field值相当长，而你只想索引Field值的前固定个字符，可以用Field截取功能来实现；IndexWriter的setMergePolicy(policy)，可以设定合并策略，另外optimize(int maxNumSegments)方法可以通过参数设定优化成的Segment个数；
9、根据确定的term查询
Java代码
  1. IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
  2. IndexSearcher searcher = new IndexSearcher(reader);
  3. Term term = new Term("id","101");
  4. Query query = new TermQuery(term);
  5. TopDocs topDocs = searcher.search(query, 10);
  6. System.out.println(topDocs.totalHits);
  7. ScoreDoc[] docs = topDocs.scoreDocs;
  8. System.out.println(docs[0].doc + " " + docs[0].score);
  9. Document doc = searcher.doc(docs[0].doc);
  10. System.out.println(doc.get("id"));
Java代码 复制代码 收藏代码
  1. IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
  2. IndexSearcher searcher = new IndexSearcher(reader);
  3. Term term = new Term("id","101");
  4. Query query = new TermQuery(term);
  5. TopDocs topDocs = searcher.search(query, 10);
  6. System.out.println(topDocs.totalHits);
  7. ScoreDoc[] docs = topDocs.scoreDocs;
  8. System.out.println(docs[0].doc + " " + docs[0].score);
  9. Document doc = searcher.doc(docs[0].doc);
  10. System.out.println(doc.get("id")); 
IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
IndexSearcher searcher = new IndexSearcher(reader); 
Term term = new Term("id","101");
Query query = new TermQuery(term);
TopDocs topDocs = searcher.search(query, 10);
System.out.println(topDocs.totalHits);
ScoreDoc[] docs = topDocs.scoreDocs;
System.out.println(docs[0].doc + " " + docs[0].score);
Document doc = searcher.doc(docs[0].doc);
System.out.println(doc.get("id"));
如上示例显示了一个Lucene查询的基本方法，IndexSearcher是核心的查询类，IndexReader 可以读取索引文件，IndexSearcher有一系列重载的Search（）方法，可以根据传入不同参数进行不同查询处理，ScoreDoc数组保存查询结果，和相关得分；
10、根据QueryParser查询，并收集查询结果
Java代码
  1. IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
  2. IndexSearcher searcher = new IndexSearcher(reader);
  3. Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_29);
  4. QueryParser parser = new QueryParser(Version.LUCENE_29,"name",analyzer);
  5. String queryString = "kobe";
  6. Query query = parser.parse(queryString);
  7. TopScoreDocCollector collector = TopScoreDocCollector.create(10, false);
  8. searcher.search(query, collector);
  9. ScoreDoc[] hits = collector.topDocs().scoreDocs;
  10. for(int i = 0 ; i < hits.length ; i ++) {
  11. Document doc = searcher.doc(hits[i].doc);
  12. String name = doc.get("name");
  13. if (name != null) {
  14. System.out.println(name);
  15. }
  16. }
Java代码 复制代码 收藏代码
  1. IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
  2. IndexSearcher searcher = new IndexSearcher(reader);
  3. Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_29);
  4. QueryParser parser = new QueryParser(Version.LUCENE_29,"name",analyzer);
  5. String queryString = "kobe";
  6. Query query = parser.parse(queryString);
  7. TopScoreDocCollector collector = TopScoreDocCollector.create(10, false);
  8. searcher.search(query, collector);
  9. ScoreDoc[] hits = collector.topDocs().scoreDocs;
  10. for(int i = 0 ; i < hits.length ; i ++) {
  11. Document doc = searcher.doc(hits[i].doc);
  12. String name = doc.get("name");
  13. if (name != null) {
  14. System.out.println(name);
  15. }
  16. } 
IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);
IndexSearcher searcher = new IndexSearcher(reader);
Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_29);
QueryParser parser = new QueryParser(Version.LUCENE_29,"name",analyzer);
String queryString = "kobe";
Query query = parser.parse(queryString);
TopScoreDocCollector collector = TopScoreDocCollector.create(10, false);
searcher.search(query, collector);
ScoreDoc[] hits = collector.topDocs().scoreDocs;
for(int i = 0 ; i < hits.length ; i ++) {
Document  doc = searcher.doc(hits[i].doc);
String name = doc.get("name");
if (name != null) {
	System.out.println(name);
}
}
如上为一个使用QueryParser查询关键字“kobe”的实例，另外还对查询结果进行了收集
11、使用Lucene图形化工具Luke来操作索引
Luke使用非常简单：
下载： http://code.google.com/p/luke/ 点击下载最新版本，下载完成直接点击下载的jar包，就可以进入图形化操作界面，选择索引的目录就可以对索引进行图形化操作
doymm2008
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Lucene入门
少营营的博客
07-21 177
1.Lucene入门 实现这么一个案例，通过Java代码调用Lucene API实现对索引库的增删改查，索引库数据来源于数据库，所以增加操作需要先从数据库将数据查询出来，再调用Lucene API将数据加入到索引库中。 2.Lucene准备 Lucene可以在官网上下载。课程已经准备好了Lucene的文件，我们使用的是lucene-5.3.1版本，文件位置如下图： 解压后如下图...
Lucene介绍与使用
鑫709的博客
05-07 2974
目录 Lucene 全文检索 全文检索的应用场景 索引 Lucene、Solr、Elasticsearch 三者关系 Lucene的基本使用 lucene工作流程 构建索引 查询索引 创建索引的详细流程 案例演示 生成索引： 中文分词索引 高亮显示 文档域加权 概述： 案例演示 查询索引的详细流程 索引的删除修改 删除索引 deleteDocBeforeMerge 此方法只标记未删除索引 修改索引 高级查询 特定项查询 综合案例演示 查询 删除 ..
Lucene的使用，Lucene入门
bigbao_1993
05-31 4821
本文主要介绍几个方面，为什么使用Lucene使用场景，解决的问题，Lucene的入门使用，以及Lucene一些语法（增删改查）。一简述Lucene概念：磁盘上的一些邮件，文档等各种文件，通过工具，把其变得有结构性，就是他们的信息扫描，记录位置，记录内容，建成索引。这样你就可以通过这些索引快速找到这些文件位置以及想要的内容。就像查字典一样，字典的拼音表和部首检字表就相当于字典的索引，按着拼音或者偏旁...
Lucene入门及操作详解
qq_45441466的博客
09-05 8891
1 什么是全文检索 1.1 数据分类 我们生活中的数据总体分为两种：结构化数据和非结构化数据。 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。 非结构化数据：指不定长或无固定格式的数据，如邮件，word 文档等磁盘上的文件 1.2 结构化数据搜索 常见的结构化数据也就是数据库中的数据。 在数据库中搜索很容易实现，通常都是使用 sql语句进行查询，而且能很快的得到查询结果。 为什么数据库搜索很容易？ 因为数据库中的数据存储是有规律的，...
lucene使用
qq_42640067的博客
01-02 1132
前言 基本上我们每个人每天都会或多或少的用到搜索引擎，百度的、谷歌的、360搜索，或者其他的。我们在搜索框内输入关键字然后点击搜索，搜索引擎会将与关键字匹配度最高的内容搜索到然后返回给我们。电影网站的搜索功能，输入关键字搜索，找到匹配的电影内容。购物网站的搜索功能，输入关键字搜索到匹配的商品，搜索功能无处不在。我们搜索的时候，一输入关键字，几乎是马上返回搜索结果的，类似于购物网站，商品以百万计，甚至是千万计，为什么我们一搜索就马上有结果呢？如果数据是存在数据库中的，从含有几千万条数据的表中按关键字查询，会相
lucene使用教程
03-26
lucene是一个检索工具，是在搜索应用中使用较多，例如，爬虫需要使用一个检索功能
lucene使用.zip
05-05
lucene的一个简单查询
lucene使用总结笔记
05-27
lucene使用总结笔记lucene使用总结笔记lucene使用总结笔记lucene使用总结笔记lucene使用总结笔记
Lucene使用
08-24
在使用2012版时异常：ClassNotFoundException: org.apache.lucene.analysis.tokenattributes.CharTermAttribute 庖丁分词 使用 paoding-analysis-2.0.4-beta.zip 版时异常 Exception in thread "main" java.lang....
Lucene使用教程
03-20
Lucene使用教程
lucene详细使用教程
05-12
lucene
lucene对象转换
01-10
lucene插件中 docemenu和任意对象的转换
木其工作室代写程序 [原]Lucene 实例教程(一)初识Lucene
weixin_34123613的博客
08-22 231
淘宝网上专业IT程序代写 原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本人声明。否则将追究法律责任。 作者：永恒の_☆ 地址：http://blog.csdn.net/chenghui0317/article/details/10052103 一、Lucene的介绍 Lucene是一个全文检索的框架，apach...
Lucene介绍和使用
m0_59320696的博客
12-17 542
首先介绍下全文检索。全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。
lucene的简单使用
不积跬步，无以至千里
04-18 2347
什么是Lucene? Lucene是一个免费开源的高性能、可伸缩的全文检索引擎。 Lucene能做些什么? 为文章建立全文索引，提供高效的查询服务。 使用Lucene建立索引，并查询索引 import java.io.File; import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import org.apa
Lucene从入门到使用
Null的博客
07-11 8143
第一节：lucene入门阶段 1.什么是Lucene？         Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言，Lucene是当前以及最近几年最受欢迎的免费Java信息检索程序库。——《百度百科》 2.全文...
Lucene学习笔记（二）Lucene的使用
Kylin Soong Blog
07-26 143
如果你想快速查询你磁盘上文件，或查询邮件、Web页面，甚至查询存于数据库的数据，你都可以借助于Lucene来完成。但是要完成查询就必须先建立索引。首先从Lucene API说起： 1、 Lucene API（核心操作类）   IndexWriter 创建和维护索引（向原索引中添加新Document，设置合并策略、优化等） FSDirectory 最主要用来存储索引文件的类，表示...
lucene 使用示例
最新发布
08-23
下面是一个Lucene的使用示例: 1. 创建索引: ```java import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值