Lucene教程(一) 创建索引初步

最新推荐文章于 2020-07-08 20:02:17 发布
最新推荐文章于 2020-07-08 20:02:17 发布
阅读量3.8k 收藏 5
点赞数
分类专栏： Lucene 文章标签： lucene 索引
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zpf336/article/details/45074721
版权

简述：

本教程为系列教程，最近在看Lucene的一个视频教程，感觉不错，可惜的是所讲的版本为3.5，由于Lucene不同的版本差距较大，因此当即决定写一个新版本的系列教程5.0版本，但是又怕从3.5跨到5.0跨度太大，毕竟自己也没有使用过Lucene，因此再插入一个中间版本4.5，所以，此系列教程打算把3.5版本，4.5版本，5.0版本都给出个例子，方便大家学习，也方便自己复习。

注：3.5版本并非原创，如下步骤的思路并非原创，都是我在视频教程上学到的，其他均为原创，以后跟进的教程也是如此

注：由于此教程为系列教程，pom文件会越来越大，不再单独摘出所需要的jar包，需要添加新的jar包我会在pom文件上方列出

注：由于Lucene5.0版本是基于JDK1.7开发的，所以想学习的同学请配置1.7及以上的版本

创建索引可分为主要的几步，我自己试验过，不同的版本间会有些不同，但是跟着如下的几大步骤一步一步写，问题不会太大。

  1. 创建Directory
  2. 创建IndexWriter
  3. 创建Document对象
  4. 为Document添加Field
  5. 通过IndexWriter添加文档到索引中
下面为例子代码：
3.5版本：
3.5版本比较简单，只需要Lucene核心包lucene-core即可，pom文件如下所示： 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.darren.lucene35.helloworld</groupId>
    <artifactId>lucene35_helloworld</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>lucene35_helloworld</name>
    <url>http://maven.apache.org</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <lucene.version>3.5.0</lucene.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>${lucene.version}</version>
        </dependency>
    </dependencies>
</project>
例子代码如下： 
package com.darren.lucene35;

import java.io.File;
import java.io.FileReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

public class HelloLucene {

    /**
     * 建立索引
     */
    public void index() {
        IndexWriter indexWriter = null;
        try {
            // 1、创建Directory
            // 建立在内存中
            // Directory directory = new RAMDirectory();
            // 建立在硬盘式
            Directory directory = FSDirectory.open(new File("F:/test/lucene/index"));

            // 2、创建IndexWriter
            // 使用默认的标准分词器
            Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_35);
            IndexWriterConfig indexWriterConfig = new IndexWriterConfig(Version.LUCENE_35, analyzer);

            indexWriter = new IndexWriter(directory, indexWriterConfig);

            File dFile = new File("F:/test/lucene/document");
            File[] files = dFile.listFiles();
            for (File file : files) {
                // 3、创建Document对象
                Document document = new Document();

                // 4、为Document添加Field
                document.add(new Field("content", new FileReader(file)));
                document.add(new Field("filename", file.getName(), Field.Store.YES, Field.Index.NOT_ANALYZED));
                document.add(new Field("filepath", file.getAbsolutePath(), Field.Store.YES, Field.Index.NOT_ANALYZED));

                // 5、通过IndexWriter添加文档到索引中
                indexWriter.addDocument(document);
            }

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                if (indexWriter != null) {
                    indexWriter.close();
                }
            } catch (Exception e1) {
                e1.printStackTrace();
            }
        }
    }

}
4.5版本：
4.5版本需要Lucene核心包lucene-core和分词包lucene-analyzers-common，从4.0版本之后分词包从核心包分离，pom文件如下所示： 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.darren.lucene45.helloworld</groupId>
    <artifactId>lucene45_helloworld</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>lucene45_helloworld</name>
    <url>http://maven.apache.org</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <lucene.version>4.5.1</lucene.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>${lucene.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-common</artifactId>
            <version>${lucene.version}</version>
        </dependency>
    </dependencies>
</project>
例子代码如下： 
package com.darren.lucene45;

import java.io.File;
import java.io.FileReader;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

public class HelloLucene {
    /**
     * 建立索引
     */
    public void index() {
        IndexWriter indexWriter = null;
        try {
            // 1、创建Directory
            Directory directory = FSDirectory.open(new File("F:/test/lucene/index"));

            // 2、创建IndexWriter
            /**
             * 注意StandardAnalyzer与3.5版本的不同：
             * 
             * StandardAnalyzer不在lucene-core包中而在lucene-analyzers-common包中 从4.0版本以后分离
             */
            Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_45);
            IndexWriterConfig indexWriterConfig = new IndexWriterConfig(Version.LUCENE_45, analyzer);
            indexWriter = new IndexWriter(directory, indexWriterConfig);

            File dFile = new File("F:/test/lucene/document");
            File[] files = dFile.listFiles();
            for (File file : files) {
                // 3、创建Document对象
                Document document = new Document();

                // 4、为Document添加Field
                /**
                 * 注意Field与3.5版本的不同：两个参数的构造器已过时，使用如下构造器
                 */
                // 第三个参数是FieldType 但是定义在TextField中作为静态变量，看API也不好知道怎么写
                document.add(new Field("content", new FileReader(file), TextField.TYPE_NOT_STORED));
                document.add(new Field("filename", file.getName(), TextField.TYPE_STORED));
                document.add(new Field("filepath", file.getAbsolutePath(), TextField.TYPE_STORED));

                // 5、通过IndexWriter添加文档到索引中
                indexWriter.addDocument(document);
            }

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                if (indexWriter != null) {
                    indexWriter.close();
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

    }
}
5.0版本：
5.0版本和4.5版本一样，pom文件如下所示： 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.darren.lucene50.helloworld</groupId>
    <artifactId>lucene50_helloworld</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>lucene50_helloworld</name>
    <url>http://maven.apache.org</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <lucene.version>5.0.0</lucene.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>${lucene.version}</version>
        </dependency>
                <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-common</artifactId>
            <version>${lucene.version}</version>
        </dependency>
    </dependencies>
</project>
例子代码如下： 
package com.darren.lucene50;

import java.io.File;
import java.io.FileReader;
import java.nio.file.FileSystems;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;

public class HelloLucene {
    /**
     * 建立索引
     */
    public void index() {
        IndexWriter indexWriter = null;
        try {
            // 1、创建Directory
            /**
             * 注意open方法与3.5版本和4.5版本的不同：
             * 
             * 这里不再接受一个File而是Path，使用的是JDK1.7的新特性，也就是说5.0版本是基于JDK1.7开发的
             * 
             * 如何获取Path，请参照 Java7新特性--Path http://blog.csdn.net/zpf336/article/details/45074445
             * 
             */
            Directory directory = FSDirectory.open(FileSystems.getDefault().getPath("F:/test/lucene/index"));
            // 2、创建IndexWriter
            /**
             * 注意StandardAnalyzer与3.5版本的不同：
             * 
             * StandardAnalyzer不在lucene-core包中而在lucene-analyzers-common包中 从4.0版本以后分离
             * 
             * 并且不需要提供版本号
             */
            Analyzer analyzer = new StandardAnalyzer();

            /**
             * 注意IndexWriterConfig与3.5版本和4.5版本的不同：
             * 
             * 不需要提供版本号
             */
            IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer);
            indexWriter = new IndexWriter(directory, indexWriterConfig);
            File dFile = new File("F:/test/lucene/document");
            File[] files = dFile.listFiles();
            for (File file : files) {
                // 3、创建Document对象
                Document document = new Document();
                // 4、为Document添加Field
                /**
                 * 注意Field与3.5版本的不同：两个参数的构造器已过时，使用如下构造器
                 * 
                 * 但是和4.5版本是相同的
                 */
                // 第三个参数是FieldType 但是定义在TextField中作为静态变量，看API也不好知道怎么写
                document.add(new Field("content", new FileReader(file), TextField.TYPE_NOT_STORED));
                document.add(new Field("filename", file.getName(), TextField.TYPE_STORED));
                document.add(new Field("filepath", file.getAbsolutePath(), TextField.TYPE_STORED));

                // 5、通过IndexWriter添加文档到索引中
                indexWriter.addDocument(document);
            }

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                if (indexWriter != null) {
                    indexWriter.close();
                }
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

    }
}
测试代码：
由于测试代码都一样，仅贴出5.0版本的此时代码： 
package com.darren.lucene50;

import org.junit.Test;

public class HelloLuceneTest {
    @Test
    public void testIndex() {
        HelloLucene helloLucene = new HelloLucene();
        helloLucene.index();
    }
}
注：不同版本间会有一些不同，我都已在注释中提到
三 丰
关注
专栏目录
Lucene 索引文件详解：结构与工作原理
微笑听雨
07-17 1018
一个 Lucene 索引由多个文件组成，每个文件都有特定的功能。段文件（Segments）：存储索引的数据结构。字段信息文件（Field Info Files）：描述字段的元数据。文档存储文件（Document Stores）：存储文档内容。词典文件（Term Dictionaries）：存储词项及其元数据。频率文件（Frequency Files）：记录词项出现的频率。位置信息文件（Positions Files）：记录词项在文档中的位置信息。
Lucene实战视频教程
07-22
资源名称：Lucene实战视频教程资源目录：【】01_lucenc简介和创建索引初步【】02_lucene简介和搜索初步【】03_lucene索引_创建_域选项【】04_lucene索引_的删除和更新【】05_lucene索引_加权操作和Luke的简单演示...
Lucene教程
04-04
NULL 博文链接：https://shmilywzc.iteye.com/blog/1487058
Lucene入门教程
热门推荐
叶落枫亭
10-12 9万+
Lucene教程 1 lucene简介 1.1 什么是lucene     Lucene是一个全文搜索框架，而不是应用产品。因此它并不像www.baidu.com 或者google Desktop那么拿来就能用，它只是提供了一种工具让你能实现这些产品。 2
lucene创建索引
1.02^365=1377.41
12-15 3938
上篇博客写了信息检索的基本知识和lucene架构,这篇博客记录一下如何在eclipse中创建索引. 1.lucene下载. 下载地址:http://archive.apache.org/dist/lucene/java/. lucene不同版本之间有不小的差别，这里下载的是lucene 4.3. 2.导入jar包 打开eclipse，新建dynamic web project.解压下载的lucene压缩包，
第一个lucene的简单实例....
03-05
3. **分词**：Lucene使用分析器（Analyzer）来将文本字段分解成可搜索的术语。这涉及到词汇化、去除停用词和词形还原等步骤。 4. **查询解析**：用户输入的搜索字符串会被转换成Lucene的查询对象，这可能涉及使用`...
Lucene 2.0.0下载安装及简单测试
01-16
三、初步测试：创建索引与搜索 ### 创建索引 为了验证Lucene的索引功能，我们需要创建一个测试目录，并在其中放置一些文本文件。假设我们创建了名为“luceneDemo”的目录，位于“E:\Lucene”下，并在该目录中放入...
全文搜索引擎lucene入门
03-26
1. **创建索引（Indexing）**：Lucene首先读取文档内容，通过Analyzer进行分词处理，然后将这些词元存储在倒排索引（Inverted Index）中。倒排索引是一种高效的数据结构，它为每个词元维护一个文档列表，记录包含该...
lucene使用教程
03-26
lucene是一个检索工具，是在搜索应用中使用较多，例如，爬虫需要使用一个检索功能
Lucene创建索引步骤
11-20
Lucene创建索引步骤： 1、创建Directory（索引位置） 2、创建IndexWrite（写入索引） 3、创建Document对象 4、为Document添加Field（相当于添加属性：类似于表与字段的关系） 5、通过IndexWriter添加文档到索引中
最简单的Lucene建立、搜索索引的方法
11-30
最简单的Lucene建立、搜索索引的方法，工程基于Myeclipse10
lucene教程
静能出慧的博客
08-23 3539
luence是一个非常好的检索工具,，使用简单，几行代码就能搞定。 Lucene的架构设计及介绍  这个架构分为两部分，一是建立索引，从数据源建立相应的索引机制，二是索引查询，输入关键词，根据索引，查找并且返回结果。 1.lucene包 org.apache.Lucene.search/ 搜索入口 org.apache.Lucene.index/ 索引入口 org....
Lucene 入门教程
程序员光剑
07-08 8873
了解搜索技术什么是搜索简单的说，搜索就是搜寻、查找，在IT行业中就是指用户输入关键字，通过相应的算法，查询并返回用户所需要的信息。普通的数据库搜索类似：select * from 表名 ...
Lucene创建索引入门案例
06-21 1463
最近在学校lucene，参考网上的资料写了一个简单搜索
使用Lucene创建全文索引的实战教程
一个简单的示例展示了如何在Windows系统下创建索引，包括读取文本文件内容并使用Lucene API进行索引操作。" 在深入解释Lucene全文索引之前，我们先了解一下全文搜索引擎的基本概念。全文搜索引擎不同于传统的基于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值