Lucene学习笔记

于 2023-02-15 14:47:08 发布
阅读量404 收藏
点赞数
分类专栏： 学习笔记 文章标签： lucene 学习 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lunatic__/article/details/129043275
版权

lucene结构
索引：概念上的一个表，现实体现就是一个文件目录，一个目录代表一个索引，也视作documents文档集合
文档：document，为索引中的一条数据，一个document可以拥有多个filed（域），甚至可以完全相同。
域：field，一个field即为一个字段
是否分词：tokenized
是否索引：indexed
是否存储：stored
倒排索引
所谓倒排索引， 就是从文档内容，通过分词器分出不重复关键字，以关键字作为主键查询到具有关键字的文档id列表，查询到出具有关键词的文档。因此：倒排索引是用于模糊查询大量数据得到列表结果的，而非精确查询。

常用Field类型
类型 是否分词 是否索引 是否存储
StringField N Y Y或N
TextField Y Y Y或N
FloatPoint Y Y N
DoublePoint
LongPoint
IntPoint
StoredField N N Y
NumericDocValuesField 配合其他域使用

分词器
分词： 采集到的数据会存储道document对象的Field域中，分词就是将Document中的Field的value值切分成一个一个的词。分词就是为了查询，不作为查询条件的不要分词。

过滤：标点符号去除，停用词过滤，大写转小写，词的形还原
Analyzer使用时机：索引时使用/搜索时使用（两者所用分词器必须一致）

扩展词典：
放专有名词，或者我们认为需要强制将某一些词拆成一个关键字
凡是出现在扩展词典的词，就会强制分成一个关键字

停用词典：
凡是出现在停用词点的词，都会被过滤掉（节省存储空间，提高搜索效率）

存储结构
一个目录一个索引，一个逻辑索引由多个段segment组成，多个段可以合并减少读取内存时候的IO。Lucene数据先写入buffer缓冲区，到达一定数量后写入segment段，segment内部的数据不可以被修改，但可以被删除，删除为逻辑删除。新增家的document单独在一个新生的段中，随着段的合并写入到一个段中。

词典数据结构
跳跃表 占用内存小，且可调，但是对模糊查询支持不好。3.0之前使用

排序列表Array/List 使用二分法查找，不平衡字典树 查询效率跟字符串长度有关，但只适合英文词典
哈希表 性能高，内存消耗大，几乎是原始数据的三倍
双数组字典树 适合做中文词典，内存占用小，很多分词工具均采用此种算法
Finite State Transducers (FST) 一种有限状态转移机，Lucene 4有开源实现，并大量使用
B树 磁盘索引，更新方便，但检索速度慢，多用于数据库

lucene优化
解决大量磁盘IO

indexWriterConfig.setMaxBufferedDocs(10000); // 配置写入segment前缓冲区doc最大数目

indexWriter.forceMerge(1000); // 多少个文档合并一个段 越大索引越快 搜索越慢

TermQuery更快 QueryParser更强大

相关度排序
计算出词的权重 Term（tf – 此文档中词出现次数越高越大， df — 越多文档包含，得分越低）
根据词的权重值，计算文档相关度得分
boost加权（默认加权值为1.0f）
在索引时对某个文档中的filed设置加权重，搜索匹配到时这个文档就可能排在前面
在搜索时对某个域进行加权，在进行组合域查询时，匹配到加权值高的域最后计算的相关度得分就高。
设置boost是给域（field）或者Document设置的。

注意事项

  • 关键词区分大小写 OR AND TO等关键词是区分大小写的，lucene只认大写的，小写的当做普通单词。

  • 读写互斥性
    同一时刻只能有一个对索引的写操作，在写的同时可以进行搜索 文件锁在写索引的过程中强行退出将在tmp目录留下一个lock文件，使以后的写操作无法进行，可以将其手工删除时间格式

  • lucene只支持一种时间格式yyMMddHHmmss，所以你传一个yy-MM-dd
    HH:mm:ss的时间给lucene它是不会当作时间来处理的

  • 设置boost
    有些时候在搜索时某个字段的权重需要大一些，例如你可能认为标题中出现关键词的文章比正文中出现关键词的文章更有价值，你可以把标题的boost设置的更大，那么搜索结果会优先显示标题中出现关键词的文章

代码演示：

/**
 * 新增文档/索引
 * @throws IOException
 */
@Test
public void createIndexTest() throws IOException {
    // 1.采集数据
    // 2.创建文档对象
    Document document = new Document();
    document.add(new TextField("id", "12345", Field.Store.YES));
    document.add(new TextField("name", "第二份文档数据", Field.Store.YES));
    document.add(new TextField("time", "2023-01-27", Field.Store.YES));

    // 3.创建分词器 标准分词器对英文分词效果好 对中文是单字分词
    StandardAnalyzer standardAnalyzer = new StandardAnalyzer();
    IKAnalyzer smartChineseAnalyzer = new IKAnalyzer();

    // 4.创建Directory目录对象 目录对象表示索引库的位置
    Directory fsDirectory = FSDirectory.open(Paths.get("/opt/lucene_dir"));

    // 5.创建IndexWriterConfig对象 这个对象中指定且分次使用的分词器
    IndexWriterConfig indexWriterConfig = new IndexWriterConfig(smartChineseAnalyzer);
    indexWriterConfig.setMaxBufferedDocs(10000); // 配置写入segment前缓冲区doc最大数目

    // 6.创建IndexWriter输出流对象 指定输出的位置和使用的config初始化对象
    IndexWriter indexWriter = new IndexWriter(fsDirectory, indexWriterConfig);
    indexWriter.forceMerge(1000); // 多少个文档合并一个段 越大索引越快 搜索越慢
    // 7.写入文档到索引库
    indexWriter.addDocument(document);

    // 8.释放资源
    indexWriter.close();
}

/**
 * 搜索
 */
@Test
public void testSearch() throws ParseException, IOException {
    // 1. 创建分词器(对搜索的关键词进行分词使用)
    // 注意: 分词器需要跟创建索引时的分词器一模一样
    IKAnalyzer analyzer = new IKAnalyzer();

    // 2. 创建查询对象, 第一个参数: *默认*查询域, 第二个参数, 使用的分词器
    QueryParser parser = new QueryParser("id", analyzer);

    // 3. 设置搜索关键词 可指定查询域 如"id:123" 不指定时用默认查询域
    Query query = parser.parse("123456");

    // 4. 创建Directory目录, 指定索引库的位置
    Directory directory = FSDirectory.open(Paths.get("D:\\dir"));

    // 5. 创建输入流对象
    IndexReader indexReader = DirectoryReader.open(directory);

    // 6. 创建搜索对象
    IndexSearcher indexSearcher = new IndexSearcher(indexReader);

    // 7. 搜索, 并返回结果
    TopDocs docs = indexSearcher.search(query, 10);
    System.out.println("查询到数据:" + docs.totalHits);

    // 8. 获取结果集
    ScoreDoc[] scoreDocs = docs.scoreDocs;

    // 9. 遍历结果集
    if (scoreDocs != null) {
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 获取查询到的文档id， 该id为lucene创建文档时自动分配的id
            int docId = scoreDoc.doc;

            // 通过文档id，读取文档
            Document doc = indexSearcher.doc(docId);
            System.out.println(doc.get("name"));
            System.out.println(doc.get("time"));
            System.out.println(doc.get("id"));
        }
    }
}

/**
 * 索引库修改
 */
@Test
public void updateIndexTest() throws IOException {
    // 需要变更成的内容
    Document document = new Document();

    document.add(new TextField("id", "123456",Field.Store.YES));
    document.add(new TextField("name", "修改后的名称", Field.Store.YES));

    // 创建分词器
    IKAnalyzer analyzer = new IKAnalyzer();

    // 创建目录对象
    FSDirectory directory = FSDirectory.open(Paths.get("D:\\dir"));

    // 创建配置对象
    IndexWriterConfig config = new IndexWriterConfig(analyzer);

    // 创建输出流对象
    IndexWriter indexWriter = new IndexWriter(directory, config);

    // 修改, 第一个参数: 修改条件,第二个参数: 修改成的内容
    indexWriter.updateDocument(new Term("id", "123456"), document);

    // 关闭资源
    indexWriter.close();
}

/**
 * 索引库删除
 */
@Test
public void deleteTest() throws IOException {
    // 创建分词器
    IKAnalyzer analyzer = new IKAnalyzer();

    // 创建目录对象
    FSDirectory directory = FSDirectory.open(Paths.get("D:\\dir"));

    // 创建配置对象
    IndexWriterConfig config = new IndexWriterConfig(analyzer);

    // 创建输出流对象
    IndexWriter indexWriter = new IndexWriter(directory, config);

    // 修改, 第一个参数: 修改条件,第二个参数: 修改成的内容
    indexWriter.deleteDocuments(new Term("id", "123456"));

    // 关闭资源
    indexWriter.close();
}

/**
 * 使用第三方分词器（IK分词）
 */
@Test
public void testIkAnalyzer() throws IOException {
    // 创建分词器
    Analyzer analyzer = new IKAnalyzer();

    // 创建Directory对象 声明索引库的位置
    Directory directory = FSDirectory.open(Paths.get("/opt/lucene_dir"));

    // 创建indexWriterConfig
    IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer);

    // 6.创建IndexWriter输出流对象 指定输出的位置和使用的config初始化对象
    IndexWriter indexWriter = new IndexWriter(directory, indexWriterConfig);

    Document document = new Document();
    document.add(new TextField("id", "12346", Field.Store.YES));
    document.add(new TextField("name", "华为手机4G至尊P30", Field.Store.YES));
    document.add(new IntPoint("price", 9999));
    document.add(new StoredField("price", 9999));

    // 7.写入文档到索引库
    indexWriter.addDocument(document);

    // 8.释放资源
    indexWriter.close();
}


/**
 * 高级查询（文本搜索）
 */
@Test
public void testTextSearch() throws IOException, ParseException {
    // 1. 创建分词器(对搜索的关键词进行分词使用)
    // 注意: 分词器需要跟创建索引时的分词器一模一样
    IKAnalyzer analyzer = new IKAnalyzer();

    // 2. 创建查询对象, 第一个参数: *默认*查询域, 第二个参数, 使用的分词器
    // QueryParser parser = new QueryParser("name", analyzer);

    // 3. 设置搜索关键词 可指定查询域 如"id:123" 不指定时用默认查询域
    // AND 取交集  OR 取并集
    // QueryParser只能对文本进行搜索

    String[] fields = {"id", "name", "brand"};
    Map<String, Float> boost = new HashMap<>();
    // 设置权重
    boost.put("brand", 10000f);
    MultiFieldQueryParser parser = new MultiFieldQueryParser(fields, analyzer, boost);
    Query query = parser.parse("最新 or 华为");

    // 4. 创建Directory目录, 指定索引库的位置
    Directory directory = FSDirectory.open(Paths.get("/opt/lucene_dir"));

    // 5. 创建输入流对象
    IndexReader indexReader = DirectoryReader.open(directory);

    // 6. 创建搜索对象
    IndexSearcher indexSearcher = new IndexSearcher(indexReader);

    // 7. 搜索, 并返回结果
    TopDocs docs = indexSearcher.search(query, 10);
    System.out.println("查询到数据:" + docs.totalHits);

    // 8. 获取结果集
    ScoreDoc[] scoreDocs = docs.scoreDocs;

    // 9. 遍历结果集
    if (scoreDocs != null) {
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 获取查询到的文档id， 该id为lucene创建文档时自动分配的id
            int docId = scoreDoc.doc;

            // 通过文档id，读取文档
            Document doc = indexSearcher.doc(docId);
            System.out.println(doc.get("name"));
            System.out.println(doc.get("time"));
            System.out.println(doc.get("id"));
        }
    }
}


/**
 * 高级查询（范围搜索）
 */
@Test
public void testRangeSearch() throws IOException, ParseException {
    // 1. 创建分词器(对搜索的关键词进行分词使用)
    // 注意: 分词器需要跟创建索引时的分词器一模一样
    IKAnalyzer analyzer = new IKAnalyzer();

    // 2. 创建查询对象, 第一个参数: *默认*查询域, 第二个参数, 使用的分词器
    Query query = IntPoint.newRangeQuery("price", 100, 9998);

    // 4. 创建Directory目录, 指定索引库的位置
    Directory directory = FSDirectory.open(Paths.get("/opt/lucene_dir"));

    // 5. 创建输入流对象
    IndexReader indexReader = DirectoryReader.open(directory);

    // 6. 创建搜索对象
    IndexSearcher indexSearcher = new IndexSearcher(indexReader);

    // 7. 搜索, 并返回结果
    TopDocs docs = indexSearcher.search(query, 10);
    System.out.println("查询到数据:" + docs.totalHits);

    // 8. 获取结果集
    ScoreDoc[] scoreDocs = docs.scoreDocs;

    // 9. 遍历结果集
    if (scoreDocs != null) {
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 获取查询到的文档id， 该id为lucene创建文档时自动分配的id
            int docId = scoreDoc.doc;

            // 通过文档id，读取文档
            Document doc = indexSearcher.doc(docId);
            System.out.println(doc.get("name"));
            System.out.println(doc.get("time"));
            System.out.println(doc.get("id"));
            System.out.println(doc.get("price"));
        }
    }
}


/**
 * 高级查询（组合搜索）
 */
@Test
public void testComplexSearch() throws IOException, ParseException {
    // 1. 创建分词器(对搜索的关键词进行分词使用)
    // 注意: 分词器需要跟创建索引时的分词器一模一样
    IKAnalyzer analyzer = new IKAnalyzer();

    // 2. 创建查询对象, 第一个参数: *默认*查询域, 第二个参数, 使用的分词器
    Query query1 = IntPoint.newRangeQuery("price", 100, 9998);
    QueryParser parse = new QueryParser("name", analyzer);
    Query query2 = parse.parse("华为");

    // 3. 组合查询条件 MUST 必须 SHOULD 或  MUST_NOT 必须不
    // 注意：如果查询条件都是must not， 则查询不到结果
    BooleanQuery.Builder builder = new BooleanQuery.Builder();
    builder.add(query1, BooleanClause.Occur.SHOULD);
    builder.add(query2, BooleanClause.Occur.SHOULD);
    BooleanQuery query = builder.build();

    // 4. 创建Directory目录, 指定索引库的位置
    Directory directory = FSDirectory.open(Paths.get("/opt/lucene_dir"));

    // 5. 创建输入流对象
    IndexReader indexReader = DirectoryReader.open(directory);

    // 6. 创建搜索对象
    IndexSearcher indexSearcher = new IndexSearcher(indexReader);

    // 7. 搜索, 并返回结果
    TopDocs docs = indexSearcher.search(query, 10);
    System.out.println("查询到数据:" + docs.totalHits);

    // 8. 获取结果集
    ScoreDoc[] scoreDocs = docs.scoreDocs;

    // 9. 遍历结果集
    if (scoreDocs != null) {
        for (ScoreDoc scoreDoc : scoreDocs) {
            // 获取查询到的文档id， 该id为lucene创建文档时自动分配的id
            int docId = scoreDoc.doc;

            // 通过文档id，读取文档
            Document doc = indexSearcher.doc(docId);
            System.out.println(doc.get("name"));
            System.out.println(doc.get("time"));
            System.out.println(doc.get("id"));
            System.out.println(doc.get("price"));
        }
    }
}
Yava想要进大厂
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Lucene学习笔记（一）-------Lucene基础
journey_fan的专栏
09-05 868
Lucene简介 获取内容 Lucene作为一个核心搜索库，并不提供任何功能来实现内容获取建立文档 文档主要包括几个带值的域，比如标题（title），正文（body），摘要（abstract），作者（author）和链接（URL） 可以向比较重要的单个的文档或域中插入权值，加权操作可能在索引操作前就静态完成了，也可能要在搜索期间才动态完成。包括Lucene在内的几乎所有搜索引擎都会自动地
lucene学习笔记 高级篇
我的成长之路
01-05 228
一、环境 需要导入lucene.jar包（在lucene.apache.org下载） 二、基本概念 1．Lucene的工作流程： (1) 使用IndexWriter，在指定的目录建立索引的文件  (2) 将需要检索的数据转换位Document的Filed对象，然后将Document用IndexWriter添加倒索引的文件中   (3) 处理索引信息，关闭IndexWriter流   (4) 创建搜...
lucene学习笔记
09-13
以下是对Lucene学习笔记的详细解释： **建立索引**是使用Lucene的关键步骤。索引的建立涉及以下几个过程： 1. **提取文本**：首先，需要将原始数据（如文件、数据库记录等）转换成Lucene可以处理的格式。这通常...
lucene 学习笔记 1
心无所属的专栏
06-09 1105
1、索引过程中所涉及到的核心类 1）IndexWriter：负责创建新索引或者打开已有索引，以及向索引中添加、删除或更新被索引文档的信息。它提供对索引文件的写入操作，但是不能用于读取或搜索索引。IndexWriter需要开辟一定空间来存储索引，这个功能由Directory完成。 2）Directory：描述lucene索引的存放位置，抽象类，子类负责具体指向索引的存储路径。IndexWrite
Lucene学习笔记一
weixin_30871701的博客
01-24 120
Lucene课件 1.全文检索 1.1常见的全文检索 在window系统中，可以指定磁盘中的某一个位置来搜索你想要得到的东西。这个功能是windows比较常用的功能。在这个界面中能搜索的内容有*.*,*.bat，可以搜索文件中的内容。 在myeclipse中，点击Help->Help Contents,可以利用搜索功能找到你要查询的帮助文档...
Lucene5 学习笔记（1） —— Hello World
李威威的博客
03-01 2933
这是第1节的内容，让我们对 lucene 全文搜索引擎有一个大概的认识。 对应 孔浩老师 01_lucenc简介和创建索引初步 这1节视频的内容。全文搜索引擎存在的意义：根据索引来查找，提高效率。方便我们快速地搜索信息。 在全文索引工具中，都是由这样的三部分组成 1、索引部分； 2、分词部分；3、搜索部分。写自己的搜索引擎，用得比较多的就是 lucene。孔老师说 lucene 不难，但是细节
lucene原理及java实现_Lucene字典的实现原理
weixin_42481708的博客
02-28 216
1Lucene字典使用lucene进行查询不可避免都会使用到其提供的字典功能，即根据给定的term找到该term所对应的倒排文档id列表等信息。实际上lucene索引文件后缀名为tim和tip的文件实现的就是lucene的字典功能。怎么实现一个字典呢？我们马上想到排序数组，即term字典是一个已经按字母顺序排序好的数组，数组每一项存放着term和对应的倒排文档id列表。每次载入索引的时候只要将te...
Lucene字典文件结构
panglaohutrue的专栏
01-15 1743
Lucene中的字典文件既没有使用商业数据库的b tree结构,也不是经过hash而得。而由.tii与.tis两个文件组成了一种二层文件结构。在.tis文件中每隔一个分组跨度便产生一个分组点，在.tis文件中term编号（从0起）能够整除indexinterval时，便将当前term的前驱term作为分组点（第一个分组点为““）保存在.tii文件中。交替填写.tii与.tis文件，直到二层文件结构
Lucene学习笔记之（一）简介和向文档写索引并读取文档
孤师的博客
07-30 7523
什么是lucene? lucene的官方文档http://lucene.apache.org/core/ lucene就是一个全文检索的工具包。 Lucene的能干什么? 1.      获取内容（Acquire Content） Lucene不提供爬虫功能，如果需要获取内容需要自己建立爬虫应用。 Lucene只做索引和搜索工作。 2.建立文档（Build Document）
Lucene学习笔记之（六）lucene的中文查询
孤师的博客
07-30 6644
步骤一：创建maven现目 步骤二：配置pom.xml文件 junit junit 3.8.1 test org.apache.lucene
Lucene学习总结之一：全文检索的基本原理
热门推荐
forfuture1978的专栏
10-22 6万+
一、总论根据http://lucene.apache.org/java/docs/index.html 定义：Lucene 是一个高效的，基于Java 的全文检索库。 所以在了解Lucene之前要费一番工夫了解一下全文检索。那么什么叫做全文检索呢？这要从我们生活中的数据说起。我们生活中的数据总体分为两种：结构化数据 和非结构化数据 。结构化数据：
ES-Lucene-FST的原理是啥？跟Trie树的区别是啥？
stevewong的专栏
07-23 3870
参考 Lucene-FST
lucene 范围查询及其原理
yichudu
07-12 4743
适用于lucene 6.0。 Int类型的有IntPoint，Double类型的有相应的DoublePoint，以此类推。 1.相关类 org.apache.lucene.document.IntPoint 一个被索引的int类型的field。可以代表n维形状，可以范围搜索。 org.apache.lucene.document.IntPoint.IntPoint(String name
elasticsearch学习笔记 巨轮
最新发布
03-16
很高兴回答您关于 Elasticsearch 的学习笔记。 Elasticsearch 是一个基于 Lucene 的开源搜索引擎，它可以存储、搜索和分析海量的数据。它具有分布式、高可用、实时搜索和强大的聚合分析功能，因此被广泛应用于企业...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值