Solr入门教程

最新推荐文章于 2024-06-25 10:33:00 发布
最新推荐文章于 2024-06-25 10:33:00 发布
阅读量459 收藏 1
点赞数
分类专栏： 搜索引擎 文章标签： solr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cb547788718/article/details/113886763
版权

欢迎来到我的博客: http://chenb.in

1 Solr基础介绍

1.1 什么是Solr

Solr是Apache开源的、基于Lucene的Java Api的封装,是一款成熟稳定的搜索引擎。

1.2 Solr的优缺点

优点:

  1. 大量的用户群体与成熟的社区

  2. 支持多种格式索引,例如HTML、CSV、JSON、XML等

  3. 诞生于与2004年,多年的沉淀使得Solr成熟、稳定

  4. 如果不考虑建索引的同时进行查询,查询速度更快,像我目前接手的法律查询软件,法律的录入不是十分频繁,那么用Solr就会比较合适

缺点:

  1. 在建立索引时,搜索效率不高,例如淘宝热卖那种需要实时更新索引的项目,Solr就显得有点力不从心了

1.3 使用版本

  1. JDK-1.8
  2. Solr-7.7.3(未使用最新版是因为公司用的不是最新版,然后核心知识都大同小异,后续会再看8.x有什么更新)
  3. ik分词器-7.x

1.4 安装

  1. 下载安装包 https://mirrors.bfsu.edu.cn/apache/lucene/solr/7.7.3/solr-7.7.3.tgz

  2. 到安装路径下解压 tar -zxvf solr-7.7.3.tgz(tgz相当于是tar.gz)

1.5 目录布局

目录介绍
bin包含启动等一些重要脚本
contribSolr的附加插件
distSolr的jar包
docsSolr的在线文档
example演示案例
licensesSolr使用的第三方库的许可证
serverSolr的核心应用,包含管理UI界面等

1.6 常用命令

bin/solr start 启动(macOS与Linux均以下述方式启动,Windows需要在加个.cmd如:bin/solr.cmd start)

bin/solr stop 关闭

bin/solr restart 重启

bin/solr status 查看状态

Solr有单机运行与集群运行两种方式,本文主要以单机运行为主了,默认启动端口为8983,若想指定端口可以在后面加上 -p 参数,如

  • bin/solr start -p 端口号
  • bin/solr restart -p 端口号

此时可以在浏览器输入 http://localhost:8983/ 来打开admin UI界面:

WechatIMG3302

2 core配置

2.1 什么是core

是一个Lucene实例,其中包含Solr所有的配置文件,我们需要创建一个core来完成索引与分析等操作

一个Solr可以有多个core,如果需要core之间也是可以互相通信的

2.2 core的创建

  1. create命令创建

    ./solr create -c new_core1

  2. admin UI上直接创建

    a. 此步执行之前,需要先将solr的默认配置文件夹复制到solr/server/solr/下,并重命名(下例中取名为new_core2),参考命令: cp -r ~/Library/solr-7.7.3/server/solr/configsets/_default/conf/ ~/Library/solr-7.7.3/server/solr/new_core2/
    b. 重启
    c. image-20210207155125070

注意项:

  1. 用第一种方法创建,会自动在server/solr下创建一个名为new_core1的core文件夹,里面有着所需的配置文件(server/solr也称solr_home)
  2. 第二种方式创建相当于我们手动创建了core文件夹
  3. core还有其他创建方式,但这两种比较常见

2.3 core的删除

​ ./solr delete -c my_core

3 schema配置

3.1 什么是schema

在讲schema之前需要先了解一个概念 index(索引)

这里的索引和数据库中的索引不同,可以简单理解为Solr中的一张表,与Elasticsearch中的索引概念类似,举个例子:

我有学生表和课程表,我有一条很频繁的查询是某某学生某某课程考了多少分,那我就需要从数据库把这两张表的内容查询出来处理完后再传回客户端,而solr会把这两张表中需要的字段提取出来,存放到solr中去,而存放的数据结构就是索引,这相当于是数据库里的一张表

而schema就是Solr如何建立索引的说明书,例如字段的数据类型以及分词方式等

3.2 schema配置

在Solr5.5之前的配置文件叫schema.xml,这些需要手动配置,密密麻麻的XML看着还挺头疼的,之后出现了的配置文件叫做managed-schema,他的配置方式是使用schemaAPI来实时配置,并且配置之后无须重启即可生效,更加适合生产环境,也更好操作

常见的配置内容:

  1. field: 相当于Java类的属性字段,可以给他配上其他属性,比如是否需要显示,是否可以用做索引字段等,有明确的定义的普通字段
    image-20210207171043365
    a. name: 查询时字段
    b. type: 字段类型
    c. indexed: 是否为索引字段
    d. stored: 是否存储
    e. multiValued: 是否允许多值

  2. dynamicField: 与field类似,是未明确定义名字的字段,常用属性与field了类似

    image-20210207172527096

  3. copyField:

    • 可以将field字段拷贝到其他字段
    • 可以将dynamicField字段拷贝到其他字段
    • 可以将多个field字段拷贝到多值字段
    • 可以将多个dynamicField字段拷贝到多值字段
    • image-20210207172637955

  4. fieldType: 一般用来定义分词器,然后让field/dynamicField通过type引用

    image-20210207172800274

  5. analyzer: fieldType的子属性,常用于设置分词器

3.3 ik分词器配置

步骤:

  1. 下载jar包:https://search.maven.org/search?q=com.github.magese image-20210219085443741

  2. 把jar包放置到(以我的为例)solr-7.7.3/server/solr-webapp/webapp/WEB-INF/lib下

  3. 到solr-7.7.3/server/solr/new_core/managed-schema下最底下粘贴以下内容:

      <!-- ik分词器 -->
    <fieldType name="text_ik" class="solr.TextField">
      <analyzer type="index">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
      <analyzer type="query">
          <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
          <filter class="solr.LowerCaseFilterFactory"/>
      </analyzer>
    </fieldType>

  4. 重启Solr

  5. 测试分词器 image-20210219090639925

Field Value(Index)与Field Value(Query)是Solr在索引时与在查询时会怎么处理数据,可以根据这两个来帮助设计分析器、分词器和过滤器(本文采用了ik分词器,上述三者ik分词器已经自己设计好了,关于这三者具体内容见下文)

4 分析器、分词器、过滤器

Solr主要通过分析器(Analyzer)、标记器(Tokenizers)、过滤器(Filter)来分解和处理文本。

在介绍之前,先讲述一个概念文档(Document),之前说index相当于数据库里的一张表,而文档就可以理解为表里的一条数据。

4.1 概述

当对一个文档进行索引时,每个field的数据都会经过分析,分词过滤等操作,例如,将一句话分词若干个单词和词组,然后去掉空格与语气词等多余的词以及进行同义词替换等,例如:

what a beautiful girl,在这里what和a这样的词以及空格会被去掉,最终的处理结果为beautiful和girl或者是beautiful girl

除了索引会做这些工作,查询时也会做这些工作,并且为了保证索引与查询可以正确匹配,二者的处理规则往往也是相同的,例如:

ABCD索引分词为AB CD,查询时分词为A BCD,这样匹配的结果就为0

analyzer包含着两个部分,Tokenizers与Filter。Tokenizers就是将句子拆分成单个词,而Filter就是对分词的结果中比如中文里的"的"、“呀”、“啊”,英文里的"am"、“is”、"are"这类对句子主体意思关系不大的词去掉

solr有自带了一些分词器,如果你需要使用中文分词器就需要自己配置,参考3.3

4.2 使用方式

analyzer为fieldType下的一个子元素,主要作用是检查字段的文本并生成令牌流

最简单的使用方式如下:

<fieldType name="nametext" class="solr.TextField">
  <analyzer class="org.apache.lucene.analysis.core.WhitespaceAnalyzer"/>
</fieldType>

其中analyzer通过一个全限定Java类名引入,且命名的类必须继承自org.apache.lucene.analysis.Analyzer

对于简单的文章,这样一个分析器类就足够完成任务,但是通常情况下是需要更为复杂的分析

Solr提供了大量的Tokenizers与Filter来协助分析,例如:

<fieldType name="nametext" class="solr.TextField">
  <analyzer>
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.StandardFilterFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.StopFilterFactory"/>
    <filter class="solr.EnglishPorterFilterFactory"/>
  </analyzer>
</fieldType>

org.apache.solr.analysis 包中的类可以在这里用简写的 solr. 前缀来代替

上述中,analyzer未使用指定的分析器类,而用许多类组合到一起,成为该字段的分析器,任何使用"nametext"fieldType字段进行索引或查询时,都会经过从StandardTokenizerFactory到EnglishPorterFilterFactory的过滤

分析发生在两种情况下:分别是索引时与查询时

在索引时:当一个字段被创建时，分析得到的令牌流将被添加到一个索引中，并为该字段定义一组术语（包括位置、大小等）。

在查询时:分析正在搜索的值，并将结果的条件与存储在字段索引中的条件进行匹配。

如果想要在不同阶段使用不同的分析器,可以指定type属性:如下:

<fieldType name="nametext" class="solr.TextField">
  <analyzer type="index">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <filter class="solr.KeepWordFilterFactory" words="keepwords.txt"/>
    <filter class="solr.SynonymFilterFactory" synonyms="syns.txt"/>
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

在索引时,文本被标记化,并设置为小写,未列在keepwords.txt中的会被丢弃,保留下来的会根据syns.txt进行同义词替换

在查询时,就只是将文本标记后设置为小写

5 Solr的使用

5.1 根据文件导入数据

Solr可以导入多种格式的文件来作为index,在solr-7.7.3/example/exampledocs中有各个格式的测试案例,本文随机采用一种演示

可以通过bin目录下的post命令导入index

输入 bin/post -h 可查看具体使用方式

示例: bin/post -c 导入的核心名 导入的文件(可多个)

下面演示一下往new_core里导入book.csv与book.json文件:

  1. bin/post -c new_core example/exampledocs/books.csv example/exampledocs/books.json
  2. 查看演示数据
    image-20210219095506274

5.2 添加/更新文档

添加/更新内容(根据是否有id判断为添加还是更新操作): image-20210219102710466

{
	"id":"1234567890",
  "cat":["book"],
  "name":["BeanChan is a handsome man"],
  "price":[799],
  "inStock":[true],
  "author":["BeanChan"],
  "series_t":"A man has a pretty face",
  "sequence_i":1,
  "genre_s":"fantasy"
}

5.3 删除文档

需基于XML方式image-20210220093541899

<!--删除所有索引-->
<delete>
　　<query>*:*</query>
</delete>
<commit />

<!-- 根据 id 进行删除-->
<delete>
　　<id>1</id>
</delete>
<commit />

5.4 查询数据

参数描述
q主要查询参数
fq过滤器查询参数
start起始页
rows查询行数
sort排序方式
fl结果集字段列表
wt展示格式(下图以csv格式展示)

下图为例:
image-20210220101639220

6 整合springboot

  1. 引入pom依赖

    <dependency>
  <groupId>org.springframework.data</groupId>
  <artifactId>spring-data-solr</artifactId>
</dependency>

  2. 配置yml

    spring:
  data:
    solr:
      host: http://127.0.0.1:8983/solr

  3. 配置entity

    package beanchan.cn.springbootdemo.entity;

import lombok.Data;
import org.apache.solr.client.solrj.beans.Field;
import org.springframework.data.solr.core.mapping.SolrDocument;

/**
 * @Classname SolrEntity
 * @Author ChenBin
 * @Description
 * @CreateDate 2021/2/20 2:00 PM
 */
@SolrDocument(collection = "new_core")
@Data
public class SolrEntity {
    @Field
    private String id;
    @Field("name")
    private String name;
}

  4. 配置dao

    package beanchan.cn.springbootdemo.dao;

import beanchan.cn.springbootdemo.entity.SolrEntity;
import org.springframework.data.solr.repository.SolrCrudRepository;
import org.springframework.stereotype.Repository;

/**
 * @Classname solaDao
 * @Author ChenBin
 * @Description
 * @CreateDate 2021/2/20 3:25 PM
 */
@Repository
public interface SolrDao extends SolrCrudRepository<SolrEntity,String> {

}

  5. 配置service及其实现类

    package beanchan.cn.springbootdemo.service;

import beanchan.cn.springbootdemo.entity.SolrEntity;
import org.apache.solr.client.solrj.SolrServerException;

import java.io.IOException;
import java.util.List;

/**
 * @InterfaceName ISolrService
 * @Author ChenBin
 * @Description
 * @CreateDate 2021/2/20 3:33 PM
 */
public interface ISolrService {
    void add();
    void update();
    void delete();
    List<SolrEntity> quertList(String keyword) throws IOException, SolrServerException;
}

    package beanchan.cn.springbootdemo.service.impl;

import beanchan.cn.springbootdemo.dao.SolrDao;
import beanchan.cn.springbootdemo.entity.SolrEntity;
import beanchan.cn.springbootdemo.service.ISolrService;
import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrDocumentList;
import org.springframework.stereotype.Service;

import javax.annotation.Resource;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

/**
 * @Classname ISolrServiceImpl
 * @Author ChenBin
 * @Description
 * @CreateDate 2021/2/20 3:34 PM
 */
@Service
public class ISolrServiceImpl implements ISolrService {

    @Resource
    SolrDao solrDao;

    @Resource
    private SolrClient solrClient;

    @Override
    public void add() {
        SolrEntity solrEntity = new SolrEntity();
        solrEntity.setId("001");
        solrEntity.setName("阿姆斯特朗回旋加速喷气式阿姆斯特朗炮制作图纸");
        solrDao.save(solrEntity);
    }

    @Override
    public void update() {
        SolrEntity solrEntity = new SolrEntity();
        solrEntity.setId("001");
        solrEntity.setName("阿姆斯特朗回旋加速喷气式阿姆斯特朗炮使用手册");
        solrDao.save(solrEntity);
    }

    @Override
    public void delete() {
        solrDao.deleteById("001");
    }

    @Override
    public List<SolrEntity> quertList(String keyword) throws IOException, SolrServerException {

        SolrQuery query = new SolrQuery();

        //设置查询条件
        query.setQuery("name:阿姆斯特朗");

        //按照时间排序
        // query.addSort("create_time", SolrQuery.ORDER.desc);

        //开始页
        query.setStart(0);
        //一页显示多少条
        query.setRows(10);

        //开启高亮
        //query.setHighlight(true);
        //设置高亮字段
        //query.addHighlightField("demoName");
        //前缀
        //query.setHighlightSimplePre("<font color='red'>");
        //后缀
        //query.setHighlightSimplePost("</font>");
        //执行查找
        QueryResponse response = solrClient.query("new_core",query);

        SolrDocumentList results = response.getResults();
        //获取查询到的数据总量
        long numFound = results.getNumFound();
        if (numFound <= 0) {
            //如果小于0，表示未查询到任何数据，返回null
            return null;
        } else {

            List<SolrEntity> list = new ArrayList<>();
            //遍历结果集
            for (SolrDocument doc : results) {
                //得到每条数据的map集合
                Map<String, Object> map = doc.getFieldValueMap();
                //添加到list
                for (String key : map.keySet()) {
                    System.out.println("KEY:" + key + ",VALUE:" + map.get(key).toString());
                }
                SolrEntity demo = new SolrEntity();
                demo.setId(map.get("id").toString());
                demo.setName(map.get("name").toString());
                list.add(demo);
            }
            return list;
        }
    }

}

  6. 配置Controller

    package beanchan.cn.springbootdemo.controller;

import beanchan.cn.springbootdemo.entity.SolrEntity;
import beanchan.cn.springbootdemo.service.ISolrService;
import org.apache.solr.client.solrj.SolrServerException;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.annotation.Resource;
import java.io.IOException;
import java.util.List;

/**
 * @Classname searchController
 * @Author ChenBin
 * @Description
 * @CreateDate 2021/2/20 10:57 AM
 */
@RestController
public class SearchController {

    @Resource
    ISolrService solrService;

    /**
     * 新增
     *
     * @return flag
     */
    @RequestMapping("add")
    public String add() {
        solrService.add();
        return "success";
    }

    @RequestMapping("update")
    public String update() {
        solrService.update();
        return "success";
    }

    @RequestMapping("delete")
    public String delete() {
        solrService.delete();
        return "success";
    }

    @RequestMapping("queryList")
    public String queryList() {
        List<SolrEntity> solrEntities = null;
        try {
            solrEntities = solrService.quertList("");
        } catch (IOException | SolrServerException e) {
            e.printStackTrace();
        }
        if (solrEntities != null)
            return solrEntities.toString();
        return "empty";
    }
}

  7. 测试还请自行实验,下图简单展示一下

    image-20210220164722459

Bean Chan
关注
专栏目录
Apache Solr 入门指南
程序员光剑
08-04 1515
作者：禅与计算机程序设计艺术Apache Solr是一个开源搜索服务器。Solr允许用户在其应用程序中添加全文索引功能，并且提供各种搜索操作，如查询、导航、排序和Faceted Search等。它可以用于任何需要检索数据的应用场景。Solr被广泛地应用于基于网页的企业级应用，比如e-commerce网站、文档库、内容管理系统以及其他基于Web的业务系统。因此，作为一个开源的Apache项目，Solr具有强大的生命力和实用性。 在本教程中，我将会教你如何安装和配置Solr，并且如何进行基础的配置和使用。通过本
solr入门教程
热门推荐
实践是最好的方法
06-15 2万+
Solr是一个独立的企业级搜索应用服务器，它对外提供API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引(solr生成倒排索引，数据库生成的索引是二叉树索引，效率差距很大)；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。问一位大神，他说现在很多公司也开始使用elasticsearch了。 　　一、solr安装准备：tomcat7.0版本
Apache Solr入门教程(初学者之旅)
weixin_33682719的博客
06-27 967
Apache Solr入门教程(初学者之旅) 写在前面：本文涉及solr入门的各方面，建议边思考边实践，相信能帮助你对solr有个清晰全面的了解并能简单实用。 在Apache Solr初学者教程的这个例子中，我们将讨论有关如何安装最新版本的Apache Solr，并告诉你如何配置它。此外，我们将告诉你如何进行使用solr的样本数据文件索引。Apache Solr支持不同格式，包括各种数据库，...
Solr简单介绍与安装
最新发布
年轻就是资本的专栏
06-25 1314
< Solr介绍 1.1 什么是solr Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene****的全文搜索服务器。Solr可以独立运行在Jetty、Tomcat等这些Servlet容器中。 Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。 使用Solr 进行创建索引和搜索索引的实现方法很简单...
Solr
weixin_33704234的博客
11-23 91
Solr: Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。...
Solr入门教程-solr学习入门经典教程
03-26
solr学习入门经典教程，赶紧学习吧,从solr的搭建讲起，中文分词器的配置
solr学习入门教程
11-23
### Solr学习入门教程知识点详解 #### 一、Solr概览 Solr是一个开源的企业级搜索服务器，采用Java作为底层开发语言，具备高度的可扩展性和灵活性。它通过标准的HTTP协议和XML格式进行通信，这意味着即使不精通Java...
全文检索引擎Solr系列——入门篇
zhangketuan的专栏
05-28 651
Solr采用Lucene搜索库为核心，提供全文索引和搜索开源企业平台，提供REST的HTTP/XML和JSON的API，如果你是Solr新手，那么就和我一起来入门吧！本教程以solr4.8作为测试环境，jdk版本需要1.7及以上版本。 准备 本文假设你对Java有初中级以上水平，因此不再介绍Java相关环境的配置。下载解压缩solr，在example目录有start.jar文件，启动：
solr教程+实例
07-20
solr教程+实例
Solr教程.pdf
11-24
比较完整的solr教程，PDF文档，而且描述比较详细而且可用
solr从入门到精通教程
05-03
我做资讯系统经理时，为了更好地理解企业级搜索技术，更好的组织和指导团队工作，这本书给了我很大帮助，我愿把本书共享给各位，希望能帮到各位开发及做企业级资讯中心的项目经理。
solr使用教程
qq_40405398的博客
05-09 1727
solr教程
solr教程---solr说明
我要上天
09-09 459
此教程solr的版本是：7.4 1、环境准备 （1）jdk1.8及以上（jdk各个版本的bug会对solr有不同程度的影响，具体可见jdk不同版本bug对solr的影响的展示） （2）solr7.4的下载地址下载地址 2、下载解压以后各个文件夹的作用 （1）bin目录：几个solr的脚本，更加方便的使用solr solr and solr.cmd：启动和停止solr的脚本，s...
Solr 基础教程
lt5227的博客
01-18 1057
这个教程涵盖了如何启动 Solr、将各种数据源导入 Solr 集合以及熟悉 Solr 管理和搜索界面的内容。 教程分为三个部分，每一部分都在前一部分的基础上构建。第一部分的练习将要求您启动 Solr，创建一个集合，索引一些基本文档，然后执行一些搜索操作。 第二个练习使用不同的数据集，探讨如何请求数据集中的分面信息。 第三个练习鼓励您开始使用自己的数据，并制定实施计划。 最后，我们将介绍空间搜索，并向您展示如何将 Solr 实例恢复到干净的状态。
solr教程
liyang_com的博客
10-06 227
Solr调研总结：开发类型全文检索相关开发Solr版本4.2文件内容本文介绍solr的功能使用及相关注意事项;主要包括以下内容:环境搭建及调试;两个核心配置文件介绍;维护索引;查询索引,和在查询中可以应用的...
solr入门使用教程
qq_31165799的博客
05-02 755
本文将描述如何初步使用solr。至于安装、部署大家可以自行Google或者参考这里：solr环境搭建。 SolrJ小例子 一、：启动配置好的solr Tomcat，IDEA新建MAVEN项目，添加依赖： 二、新建创建索引类： public class SolrJDataImporter { public static void main(String[] arg
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值