【ElasticSearch】ES学习之Lucene

最新推荐文章于 2025-02-04 09:10:49 发布

James-Blackhu

最新推荐文章于 2025-02-04 09:10:49 发布

阅读量3.1k

点赞数 1

分类专栏： ES 文章标签： lucene

本文链接：https://blog.csdn.net/weixin_43267344/article/details/110131376

版权

ES 专栏收录该内容

1 篇文章

订阅专栏

文章目录

2.4 创建实体类、mapper和service

2.5 创建一个测试类，在测试类下写创建索引的方法

3 查询索引

前言

数据分类:在生活中,数据总体分为两种:结构化数据和非结构化数据。结构化数据是指有固定的格式或有限长度的数据，例如：数据库、元数据等。非结构化数据是指不定长度或无固定格式的数据，如邮件、word文档等磁盘上的文件。

一、Lucene是什么？

Lucene是apache下的一个开放源代码的全文检索引擎工具包,提供了完整的查询引擎和索引引擎,部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便在目标系统中实现全文检索的功能。

全文检索：将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定的结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出来的然后重新组织的信息，称之为索引。

全文检索适用于数据量大、数据结构不固定的数据搜索，比如百度、Google等搜索引擎。

二、Lucene实现全文搜索流程

1.索引和搜索流程图

绿色表示索引过程：对要搜索的原始内容进行索引构建一个索引库，索引的过程包括

确定原始内容----》采集文档----》创建文档----》分析文档----》索引文档

红色表示搜索的过程，从索引库中搜索内容，搜索的过程如下：

用户搜索界面输入内容----》创建查询----》从索引库中搜索----》渲染搜索结果

2.创建索引步骤

2.1导入依赖

<parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.3.RELEASE</version>
    </parent>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.47</version>
        </dependency>

        <dependency>
            <groupId>tk.mybatis</groupId>
            <artifactId>mapper-spring-boot-starter</artifactId>
            <version>2.1.4</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
        </dependency>


        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>4.10.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-common</artifactId>
            <version>4.10.3</version>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-autoconfigure</artifactId>
        </dependency>

        <!--中文分词器依赖-->
        <dependency>
            <groupId>com.janeluo</groupId>
            <artifactId>ikanalyzer</artifactId>
            <version>2012_u6</version>
        </dependency>
    </dependencies>

2.2 创建引导类

@SpringBootApplication
@MapperScan("com.leyou.mapper")
public class LuceneApplication {
    public static void main(String[] args) {
        SpringApplication.run(LuceneApplication.class,args);
    }
}

2.3 配置yml文件

链接：https://pan.baidu.com/s/1Zj8YoJuYbvdY2Q3PhRax2Q
提取码：ajrj

导入这两个文件

application.yml

spring:
  datasource:
    driver-class-name: com.mysql.jdbc.Driver
    url: jdbc:mysql:///数据库名称
    username: root
    password: root

2.4 创建实体类、mapper和service

@Data
@Table(name = "job_info")
public class JobInfo {
    @Id
    private Long id;
    private String  companyName;
    private String  companyAddr;
    private String  jobName;
    private String  jobAddr;
    @Column(name = "salary_min")  //列表和属性名的对应
    private Integer  salary;
    private String  url;
}

public interface JobInfoMapper extends BaseMapper<JobInfo> {
}

@Service
public class JobInfoServiceImpl {

    @Autowired
    private JobInfoMapper jobInfoMapper;

    public List<JobInfo> findAll(){
        List<JobInfo> list = jobInfoMapper.selectAll();
        return list;
    }
}

2.5 创建一个测试类，在测试类下写创建索引的方法

@RunWith(SpringRunner.class)  //springboot做junit测试固定的写法
@SpringBootTest
public class LuceneManager {

   @Autowired
    private JobInfoServiceImpl jobInfoService;

    @Test
    public void testCreateIndex() throws Exception {
        //7 指定索引文件存储的位置
        Directory directory = FSDirectory.open(new File("索引文件位置"));
        //8 配置版本和分词器
        // Analyzer analyzer = new StandardAnalyzer();//标准分词器(分词结果,都是单个字)
        Analyzer analyzer=new IKAnalyzer();    //IK分词器(除了单个字,还有词,类似字典中的词语)
        IndexWriterConfig config = new IndexWriterConfig(Version.LATEST, analyzer);
        //6创建一个用来创建索引的对象 indexWriter
        //需要两个参数,一个存储位置,一个版本和分词器
        IndexWriter indexWriter = new IndexWriter(directory, config);

        indexWriter.deleteAll(); //先删除索引
        //1 获取原始文档
        List<JobInfo> jobInfoList = jobInfoService.findAll();
        //2 创建文档对象 document
        for (JobInfo jobInfo : jobInfoList) {
            Document document = new Document();
            //3 分析文档,将原始文档提取单词
            //            域名  值  源数据是否存储
            document.add(new LongField("id", jobInfo.getId(), Field.Store.YES));
            //TextField在使用的时候自动分词
            document.add(new TextField("companyName", jobInfo.getCompanyName(), Field.Store.YES));
            document.add(new TextField("companyAddr", jobInfo.getCompanyAddr(), Field.Store.YES));
            document.add(new TextField("jobName", jobInfo.getJobName(), Field.Store.YES));
            document.add(new TextField("jobAddr", jobInfo.getJobAddr(), Field.Store.YES));
            document.add(new IntField("salary", jobInfo.getSalary(), Field.Store.YES));

            document.add(new StringField("url", jobInfo.getUrl(), Field.Store.YES));
            //4 将索引存入索引对象中
            indexWriter.addDocument(document);
        }
        //5 关闭资源
        indexWriter.close();
    }

}

整体结构：

3 查询索引


@RunWith(SpringRunner.class)  //springboot做junit测试固定的写法
@SpringBootTest
public class LuceneManager {
    @Autowired
    private JobInfoServiceImpl jobInfoService;
   
    @Test
    public void testQueryIndex() throws Exception {
//        1、指定索引文件存储的位置  D:\class\index
        Directory directory = FSDirectory.open(new File("索引文件位置"));
//       2、 创建一个用来读取索引的对象 indexReader
        IndexReader indexReader = DirectoryReader.open(directory);
//       3、 创建一个用来查询索引的对象 IndexSearcher
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);
//        使用term查询：指定查询的域名和关键字
        Query query = new TermQuery(new Term("companyName", "北京"));
        TopDocs topDocs = indexSearcher.search(query, 10);//第二个参数：最多显示多少条数据
        int totalHits = topDocs.totalHits;  //查询的总数量
        System.out.println("符合条件的总数:" + totalHits);
        ScoreDoc[] scoreDocs = topDocs.scoreDocs; //获取命中的文档 存储的是文档的id
        for (ScoreDoc scoreDoc : scoreDocs) {
            int docID = scoreDoc.doc;
//            根据id查询文档
            Document document = indexSearcher.doc(docID);
            System.out.println("id:" + document.get("id"));
            System.out.println("companyName:" + document.get("companyName"));
            System.out.println("companyAddr:" + document.get("companyAddr"));
            System.out.println("salary:" + document.get("salary"));
            System.out.println("url:" + document.get("url"));
            System.out.println("**************************************************************");
        }
    }

}