Solr（全文检索服务器）

最新推荐文章于 2022-12-13 17:21:26 发布
最新推荐文章于 2022-12-13 17:21:26 发布
阅读量205 收藏
点赞数
文章标签： java solr mysql 数据库 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoyangzlqqq/article/details/110442720
版权

1.Solr 安装

1.1克隆 centos-7-1908：solr

在这里插入图片描述
在这里插入图片描述

1.2设置IP

./ip-static
ip: 192.168.64.170

1.3上传文件

  • 将下面两个文件上传到 /root/
    • jdk-8u212-linux-x64.tar.gz
    • solr-8.1.1.tgz

在这里插入图片描述

1.4解压JDK

tar -xf jdk-8u212-linux-x64.tar.gz -C /usr/local/

1.5配置环境变量

  • vim /etc/profile
# 末尾添加下面两行：
export JAVA_HOME=/usr/local/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH

在这里插入图片描述

1.6让配置立即生效，并确认配置

source /etc/profile
​
java -version
javac -version

1.7解压 Solr

cd ~/
# 上传 solr-8.1.1.tgz 到 /usr/local 目录
# 并解压缩
tar -xf solr-8.1.1.tgz -C /usr/local/

1.8启动 Solr

cd /usr/local/solr-8.1.1/
# 不建议使用管理员启动 solr,加 -force 强制启动
bin/solr start -force

1.9开放端口，访问测试

# 开放 8983 端口
firewall-cmd --zone=public --add-port=8983/tcp --permanent
firewall-cmd --reload


浏览器访问：http://192.168.64.170:8983/

2. Solr 介绍

  • Solr是一个高性能，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

3.Lucene (底层工具)

  • Lucene是apache jakarta项目的一个子项目，是一个开放源代码的全文检索引擎开发工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

3.1倒排索引

我们一般情况下,先找到文档,再在文档中找出包含的词：

倒排索引则是这个过程反过来,用词,来找出它出现的文档：

3.2实际举例

在这里插入图片描述
分词结果：

倒排索引：

3.3Lucene API 介绍

3.3.1创建索引,新建 maven 项目,添加依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.tedu</groupId>
    <artifactId>lucene-demo</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>8.1.1</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>

        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-smartcn</artifactId>
            <version>8.1.1</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.1</version>
            <scope>compile</scope>
        </dependency>

    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

3.3.2创建测试类代码

package test;

import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;

import java.io.File;

public class Test1 {
    String[] a = {
            "3, 华为 - 华为电脑, 爆款",
            "4, 华为手机, 旗舰",
            "5, 联想 - Thinkpad, 商务本",
            "6, 联想手机, 自拍神器"
    };

    @Test
    public void test1() throws Exception {
        //lucene api是底层开发工具,代码非常繁琐
        //存放索引数据的文件夹
        FSDirectory d=FSDirectory.open(new File("d:/abc").toPath());
        //配置中文分词器
        IndexWriterConfig conf=new IndexWriterConfig(new SmartChineseAnalyzer());
        //索引输出工具
        IndexWriter writer=new IndexWriter(d,conf);
        //遍历文档,输出索引
        for(String s:a){
            //"3, 华为 - 华为电脑, 爆款"
            String[] arr=s.split(",");
            //用Document 封装商品数据
            //分字段进行封装
            Document doc=new Document();
            doc.add(new LongPoint("id",Long.parseLong(arr[0])));
            doc.add(new StoredField("id",Long.parseLong(arr[0])));
            doc.add(new TextField("title",arr[1], Field.Store.YES));
            doc.add(new TextField("sellPoint",arr[2],Field.Store.YES));

            writer.addDocument(doc);
        }
        writer.flush();
        writer.close();
    }
}

3.3.3查看生成的索引文件

3.3.4运行 Luke

运行lucene 8.1.1中的luke应用程序，指定索引的存放目录：

查看文档：

指定分词器，并测试分词：

查询测试：

  • title查询：

在这里插入图片描述

  • sellPoint查询：

在这里插入图片描述

  • id的查询

在这里插入图片描述

3.3.5从索引查询

package test;

import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.*;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;

import java.io.File;

public class Test1 {
    String[] a = {
            "3, 华为 - 华为电脑, 爆款",
            "4, 华为手机, 旗舰",
            "5, 联想 - Thinkpad, 商务本",
            "6, 联想手机, 自拍神器"
    };

    @Test
    public void test2() throws Exception {
        //在索引中搜素数据
        //文件夹
        FSDirectory d=FSDirectory.open(new File("d:/abc").toPath());
        //索引读取工具
        DirectoryReader reader=DirectoryReader.open(d);
        //搜素器工具
        IndexSearcher searcher = new IndexSearcher(reader);
        //封装搜素的关键词
        TermQuery query = new TermQuery(new Term("title", "华为"));
        //搜素得到结果:[{doc:3,score:0.679},{doc:4,score:0.578}]//按相关度排名
        TopDocs topDocs = searcher.search(query, 20);
        //遍历
        for (ScoreDoc sd:topDocs.scoreDocs){
            int id=sd.doc;//文档索引编号
            float score=sd.score;//相关度得分
            Document doc = searcher.doc(id);//文档摘要
            System.out.println(id);
            System.out.println(score);
            System.out.println(doc.get("id"));
            System.out.println(doc.get("title"));
            System.out.println(doc.get("sellPoint"));
            System.out.println("-----------------------------------------------");
        }
    }
}

3.3.6启动测试

4. Solr 检索

4.1创建 Core

  • 数据库中 pd_item 表中的商品数据, 在 solr 中保存索引数据, 一类数据, 在 solr 中创建一个 core 保存索引数据；
  • 创建一个名为 pd 的 core,执行以下命令：
# solr目录/server/solr/
#                    pd/
#                     conf/
#                     data/
cd /usr/local/solr-8.1.1

mkdir server/solr/pd
mkdir server/solr/pd/conf
mkdir server/solr/pd/data

在这里插入图片描述
conf 目录是 core 的配置目录, 存储一组配置文件, 以默认配置为基础。

4.1.1复制默认配置

cd /usr/local/solr-8.1.1

cp -r server/solr/configsets/_default/conf server/solr/pd

在这里插入图片描述

4.1.2创建名为 pd 的 core

4.2中文分词测试

4.2.1配置中文分词器 ik-analyzer

https://github.com/magese/ik-analyzer-solr
在这里插入图片描述

  • 下载 ik-analyzer 分词 jar 文件,传到 solr目录/server/solr-webapp/webapp/WEB-INF/lib
    为了后续操作方便,把后面用到的jar文件一同传到服务器,包括四个文件:
    • ik-analyzer-8.1.0.jar
    • mysql-connector-java-5.1.46.jar
    • solr-dataimporthandler-8.1.1.jar
    • solr-dataimporthandler-extras-8.1.1.jar

在这里插入图片描述

  • 复制6个文件到 solr目录/server/solr-webapp/webapp/WEB-INF/classes
# classes目录如果不存在,需要创建该目录
mkdir /usr/local/solr-8.1.1/server/solr-webapp/webapp/WEB-INF/classes

这6个文件复制到 classes 目录下
resources/
    IKAnalyzer.cfg.xml
    ext.dic
    stopword.dic
    stopwords.txt
    ik.conf
    dynamicdic.txt

在这里插入图片描述

  • 配置 managed-schema
    修改 solr目录/server/solr/pd/conf/managed-schema,添加 ik-analyzer 分词器
<!-- ik分词器 -->
<fieldType name="text_ik" class="solr.TextField">
  <analyzer type="index">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
  <analyzer type="query">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

  • 重启 solr 服务
cd /usr/local/solr-8.1.1
bin/solr restart -force

4.2.2使用 ik-analyzer 对中文进行分词测试

填入以下文本, 选择使用 text_ik 分词器, 观察分词结果:

Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

4.2.3设置停止词

  • 上传停止词配置文件到 solr目录/server/solr-webapp/webapp/WEB-INF/classes
stopword.dic

在这里插入图片描述

  • 重启服务,观察分词结果中,停止词（是一、是…）被忽略
bin/solr restart -force

4.2.4准备 mysql 数据库数据

  • 用 sqlyog 执行 pd.sql；
  • 授予 root 用户 跨网络访问权限；
    注意: 此处设置的是远程登录的 root 用户,本机登录的 root 用户密码不变。
CREATE USER 'root'@'%' IDENTIFIED BY 'root';
GRANT ALL ON *.* TO 'root'@'%';

随机修改30%的商品,让商品下架,以便后面做查询测试：

UPDATE pd_item SET STATUS=0 WHERE RAND()<0.3

4.2.5从 mysql 导入商品数据

  • 设置字段：
    • title text_ik
    • sellPoint text_ik
    • price plong
    • barcode string
    • image string
    • cid plong
    • status pint
    • created pdate
    • updated pdate

  • 检查属性设置是否正确：

  • Copy Field 副本字段

    • 查询时需要按字段查询,例如 title:电脑, 可以将多个字段的值合并到一个字段进行查询,默认查询字段 _text_
    • 将 title 和 sellPoint 复制到 _text_ 字段


  • Data Import Handler 配置
    • 添加 jar 文件

Data Import Handler 的 jar 文件存放在 solr目录/dist 目录下

solr-dataimporthandler-8.1.1.jar
solr-dataimporthandler-extras-8.1.1.jar

复制这两个文件和 mysql 的 jar 文件到 solr目录/server/solr-webapp/webapp/WEB-INF/lib（已经完成了）

  • dih-config.xml
    修改 mysql 的 ip 地址,传到solr目录/server/solr/pd/conf
  • solrconfig.xml 中添加 DIH 配置
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">  
    	<str name="config">dih-config.xml</str>  
    </lst>  
</requestHandler>

  • 重启 solr
cd /usr/local/solr-8.1.1
bin/solr restart -force

4.2.6导入数据

重启 solr 后导入数据,确认导入的文档数量为 3160(如果失败，看windows防火墙是否关闭)

4.2.7查询测试

在复制字段 _text_ 中查找 电脑：

在标题中查找 电脑：

用双引号查找完整词 "笔记本"：

搜索 +lenovo +电脑：

搜索 +lenovo -电脑：

统计 cid：


…
附：https://blog.csdn.net/weixin_38305440/article/details/102810509

4.3拼多商城实现商品的全文检索

4.3.1商品检索调用分析

在这里插入图片描述

4.3.2 pom.xml 添加 solr 和 lombok 依赖

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-data-solr</artifactId>
</dependency>
<dependency>
	<groupId>org.projectlombok</groupId>
	<artifactId>lombok</artifactId>
</dependency>

4.3.3 application.yml 添加 solr 连接信息

spring:
  data:
    solr:   #注意修改ip地址
      host: http://192.168.64.170:8983/solr/pd

4.3.4 SearchService 业务接口

package com.pd.service;

import com.pd.pojo.Item;

import java.util.List;

public interface SearchService {
    List<Item> search(String key) throws Exception;
}

4.3.5 SearchServiceImpl 业务实现类

package com.pd.service.impl;

import com.pd.pojo.Item;
import com.pd.service.SearchService;
import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.List;
@Service
public class SearchServiceImpl implements SearchService {
	 /*
	 * SolrClient实例是在 SolrAutoConfiguration 类中创建的
	 * 
	 * SolrAutoConfiguration添加了@Configuration注解,
	 * 是spring boot自动配置类,其中的solrClient()方法中创建了SolrClient实例
	 */
    @Autowired
    private SolrClient solrClient;
    @Override
    public List<Item> search(String key) throws Exception {
    	//封装查询的关键词
		//也可以封装其他的查询参数,比如指定字段,facet设置等
        SolrQuery query = new SolrQuery(key);
        //查询前多少条数据
        query.setStart(0);
        query.setRows(20);
		//执行查询并得到查询结果
        QueryResponse response=solrClient.query(query);
        //把查询结果转成一组商品实例
        List<Item> list=response.getBeans(Item.class);
        return list;
    }
}

4.3.6 SearchController 控制器

package com.pd.controller;

import com.pd.pojo.Item;
import com.pd.service.SearchService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.ui.Model;
import org.springframework.web.bind.annotation.GetMapping;

import java.util.List;

@Controller
public class SearchController {
    @Autowired
    private SearchService searchService;

    @GetMapping("/search/toSearch.html")//?key=xxx
    public String search(Model model,String key) throws Exception {
        List<Item> list=searchService.search(key);
        model.addAttribute("list",list);
        return "/search.jsp";
    }
}

4.3.7访问测试

访问：http://localhost/search/toSearch.html?key=手机

xiaoyangzlqqq
关注
局域网文件全文检索及共享软件
01-07
该软件基于lucene的全文索引引擎和pangu开源分词系统构建全文索引模块对本地多个文件夹内的文档进行全文索引，同时基于UDP组播协议完成局域网P2P文件查询请求以及利用同步TCP完成点对点结果发送以及文件请求和传输。UI基于.net框架和DevExpress控件集
Solr 全文检索服务器（一）
weixin_34228662的博客
04-25 127
2019独角兽企业重金招聘Python工程师标准>>> ...
Lucene Solr 811
墨白千秋
10-12 286
solr Solr是一个高性能，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。 lucene Lucene是apache jakarta项目的一个子项目，是一个开放源代码的全文检索引擎开发工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简
solr搜索服务器
小万是个程序员
10-15 419
solr搜索服务器使用
solr全文检索服务器
新的start的博客
11-06 129
查看tomcat目录下的日志文件：tail -f logs/catalina.out solr全文检索服务器安装： 复制solr-4.10.3.war到tomcat的webapps目录下： cp /developer/solr-4.10.3/dist/solr-4.10.3.war /usr/local/solr/tomcat/webapps/solr.war 复制solr的jar包： ...
Solr 全文检索服务器.md
02-12
Solr是Apache的顶级开源项目，使用java开发 ，基于Lucene的全文检索服务器。 Solr比Lucene提供了更多的查询语句，而且它可扩展、可配置，同时它对Lucene的性能进行了优化。
SpringBoot集成Solr全文检索，示例工程源码，ik分词插件
最新发布
03-25
Apache Solr是一款开源的搜索服务器，它提供了高效、可扩展的全文检索、Hit高亮、 faceted search（分类浏览）以及相关性排序等功能。而SpringBoot则是一个简化Spring应用初始搭建以及开发过程的框架，它极大地简化...
solr全文检索入门
小龙哒的博客
01-09 5365
文章目录安装启动创建core配置core索引MySQL数据3.2.13.2.23.2.3测试定时更新五、配置中文分词SolrJ 操作索引的增、删、查七、通过SolrJ对MySQL数据库进行全量更新、增量更新八、索引高亮显示九、SolrJ读取富文本创建索引 安装 从官网下载Solr7.4（或本资源包内直接解压，本包内也是官网下载的） 下载地址：https://mirrors.tuna.tsinghu...
lucene详细使用教程
05-12
lucene
lucene-5.0.0 完整资源(包含Jar包)
01-02
lucene-5.0.0完整资源文件。刚刚从官网下载下来，但是官网下载速度太慢，下了将近1个小时。分享出来给大家，希望节省大家下载时间。
全文检索服务器：Solr
java coding girl
12-13 466
将\solr-8.11.2\dist 文件夹下的所有内容拷贝到apache-tomcat-8.5.84\webapps\solr\WEB-INF\lib 目录下。官方介绍: https://solr.apache.org/guide/8_11/solr-configuration-files.html。基础功能使用：https://blog.csdn.net/zhidongxv/article/details/125614322。4.上传文档并自定义索引字段（使用solrj）pom.xml引入依赖。
全文检索服务Solr
yingyunzhizi的博客
05-23 927
一、通过数据库检索数据有什么问题（like %）？ 1）通过like %模糊查询会导致当前的搜索变成一个全表扫描，如果数据量巨大，则性能会变的很差，而且索引还没办法对这种查询进行优化。 2）like %没办法对结果进行精准定位，只是单纯的将结果按照数据库的顺序显示。 二、扫描是全文检索服务器？ 全文检索服务主要是用来提供进行大数据的检索查询的功...
java分布式全文检索_分布式全文检索服务器——ElasticSearch(1)
weixin_35874865的博客
02-24 230
写在前面Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单ElasticSearch的使用从官网下载好...
lucene安装配置及demo调试
Mason's Blog
01-24 5926
1.安装JDK 1.6。2.Java开发环境配置3.Tomcat安装(tomcat 6.0)解压下载的lucene-2.4.1.zip，可以看到lucene-core-2.4.1.jar和lucene-demos-2.4.1.jar这两个文件。本文解压目录为：D:/lucene-2.4.1。将lucene-core-2.4.1.jar和lucene-demos-2.4.
文件服务器管理系统搜索功能,海量文件轻松处理，精益eDoc文件检索系统即搜即达...
weixin_39840635的博客
08-05 345
迭代更新的技术资料、合作方签订的法律合约、自主研发的知识产权等等，国内半导体行业发展至今三十多年，许多企业积累了数量惊人的纸质合约文件。面对这些海量的纸质文件，企业管理需要大量人力、物力来处理，费时费力。在与竞争对手发生商业纠纷时，不少半导体企业往往会因为短期内找不到特定文件而损失惨重，陷入法律危机。精益eDoc文件检索系统是一款专为文件数字化管理研发的档案管理系统，在文件数字化、文件存储等方面有...
Lucene for Mac 的安装和配置
m0_53284616的博客
09-27 410
学信息检索需要安装Lucene，自己记录一下Mac版本的Lucene安装配置。
Lucene安装及环境配置
热门推荐
鱼与橙的诱惑
03-28 1万+
1、Lucene下载 目前最新的Lucene版本是Lucene-6.6.3，官方下载传送门：地址 1、点击进入，然后选择推荐的镜像地址进入 2、随便选择一个格式的压缩文件下载即可，这里选择的是zip文件 3、下载后直接解压到你想要安装的地方 2、Java环境变量配置 2.1 JAVA_HOME变量设置 在“计算机—属性—高级系统设置”，进入到“环境系统变量设置“界...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值