springboot整合solr与IK Analyzer(中文分词器)

具体tomcat配置solr 安装 在我的上一篇文章:

https://blog.csdn.net/weixin_40787926/article/details/89474329

一、solr创建core:
1、首先在solrhome中创建solrDemo目录;

(solrhome目录为:复制solr/server/solr/* 所有文件到tomcat/solrhome目录,用到创建solr的core时使用。)
2、复制solr-8.0.0\example\example-DIH\solr\solr下的所有文件到apache-tomcat-8.5.40/solrhome/solrDemo目录下:
3、重新启动tomcat;
4、此时在浏览器输入http://localhost:8080/solr/index.html即可出现Solr的管理界面,即可看到我们刚才的solrDemo。


二、配置IKAnalyzer的中文分词:

无论是Solr的还是Lucene的,都对中文分词不支持,所以我们一般索引中文的话需要使用IK中文分词器。

分词器下载地址   https://github.com/EugenePig/ik-analyzer-solr5

下载完毕之后编译

JDK8 环境

mvn clean install

JDK7 环境

mvn clean -Djavac.src.version=1.7 -Djavac.target.version=1.7 install

得到ik-analyzer-solr5-5.x.jar

1、ext.dic为扩展字典,stopword.dic为停止词字典,IKAnalyzer.cfg.xml为配置文件,ik-analyzer-solr5-5.x.jar 为分词jar包。

2、将文件夹下的IKAnalyzer.cfg.xml , ext.dic和stopword.dic 三个文件 复制到apache-tomcat-8.5.40/webapps/solr/WEB-INF/classes 目录下,并修改IKAnalyzer.cfg.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 -->
        <entry key="ext_dict">ext.dic;</entry>

        <!--用户可以在这里配置自己的扩展停止词字典-->
        <entry key="ext_stopwords">stopword.dic;</entry>

</properties>

3、在ext.dic 里增加自己的扩展词典,例如,唯品会 聚美优品

4、复制ik-analyzer-solr5-5.x.jar到/apache-tomcat-8.5.40/webapps/solr/WEB-INF/lib/目录下。

5、在 solrhome\mycore\conf\managed-schema 文件前增加如下配置

<fieldType name ="text_ik" class ="solr.TextField">

<!-- 索引时候的分词器-->

<analyzer type ="index" isMaxWordLength ="false" class ="org.wltea.analyzer.lucene.IKAnalyzer"/>

<!--查询时候的分词器-->

<analyzer type ="query" isMaxWordLength ="true" class ="org.wltea.analyzer.lucene.IKAnalyzer"/>

</fieldType>

注意: 记得将stopword.dic,ext.dic的编码方式为UTF-8 无BOM的编码方式。

此时启动tomcat,在浏览器输入http://localhost:8080/solr/index.html即可出现Solr的管理界面。


三、solr与mysql集成索引:

首先在 solrconfig.xml 的 《requestHandler name=”/select” class=”solr.SearchHandler”> 之上添加

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  <lst name="defaults">
  <str name="config">data-config.xml</str>
  </lst>
</requestHandler>

然后在conf下新建data-config.xml文件。里面内容如下:


<dataConfig>
    <dataSource name="source1" type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://数据库ip:3306/***" user="root" password="123456" />
    <document>
        <entity dataSource="source1" name="Goods" pk="id" query="select goods_name,seo_description,seo_keywords,goods_price,goods_main_photo_id from goods"
            deltaImportQuery="select * from user where id='${dih.delta.id}'"
            deltaQuery="select id from user where updateTime> '${dataimporter.last_index_time}'">
            <field column="goods_name" name="goodsName" />
            <field column="seo_description" name="seoDescription" />
            <field column="seo_keywords" name="seoKeywords" />
            <field column="goods_price" name="goodsPrice" />
            <field column="goods_main_photo_id" name="goodsMainPhotoId" />
            <field column="update_time" name="updateTime" />
        </entity>
    </document>
</dataConfig>

dataSource是数据库数据源。Entity就是一张表对应的实体,pk是主键,query是查询语句。Field对应一个字段,column是数据库里的column名,后面的name属性对应着Solr的Filed的名字。其中solrdata是数据库名,goods是表名。
其中deltaQuery是增量索引,原理是从数据库中根据deltaQuery指定的SQL语句查询出所有需要增量导入的数据的ID号。然后根据deltaImportQuery指定的SQL语句返回所有这些ID的数据,即为这次增量导入所要处理的数据。核心思想是:通过内置变量“dih.delta.id”和“dih.delta.id”和“{dataimporter.last_index_time}”来记录本次要索引的id和最近一次索引的时间。

然后把mysql所需的jar包和solr-6.2.0\dist下的solr-dataimporthandler-6.2.0.jar和solr-dataimporthandler-extras-6.2.0.jar都复制到项目WEB-INF\lib下。
启动Tomcat,输入http://localhost:8080/solr/index.html按如下选择,
springboot整合solr

 


四、查询参数说明:
1、常用

q - 查询字符串,这个是必须的。如果查询所有: ,根据指定字段查询(Name:张三 AND Address:北京)

fq - (filter query)过虑查询,作用:在q查询符合结果中同时是fq查询符合的,例如:q=Name:张三&fq=createDate:[2014-06-18 TO 2015-12-18],找关键字”张三”,并且CreateDate是查询2014-06-18到2015-12-18之间的数据

fl - 指定返回那些字段内容,用逗号或空格分隔多个。

start - 返回第一条记录在完整找到结果中的偏移位置,0开始,一般分页用。

rows - 指定返回结果最多有多少条记录,配合start来实现分页。

sort - 排序,格式:sort=《field name>+《desc|asc>[,《field name>+《desc|asc>]… 。示例:(score desc, price asc)表示先 “score” 降序, 再 “price” 升序,默认是相关性降序。

wt - (writer type)指定输出格式,可以有 xml, json, PHP, phps。

fl表示索引显示那些field( *表示所有field,如果想查询指定字段用逗号或空格隔开(如:Name,SKU,ShortDescription或Name SKU ShortDescription【注:字段是严格区分大小写的】))

q.op 表示q 中 查询语句的 各条件的逻辑操作 AND(与) OR(或)

hl 是否高亮 ,如hl=true

hl.fl 高亮field ,hl.fl=Name,SKU

hl.snippets :默认是1,这里设置为3个片段

hl.simple.pre 高亮前面的格式

hl.simple.post 高亮后面的格式

facet 是否启动统计

facet.field 统计field

2、 Solr运算符

“:” 指定字段查指定值,如返回所有值:

“?” 表示单个任意字符的通配

“” 表示多个任意字符的通配(不能在检索的项开始使用或者?符号)

“~” 表示模糊检索,如检索拼写类似于”roam”的项这样写:roam~将找到形如foam和roams的单词;roam~0.8,检索返回相似度在0.8以上的记录。

邻近检索,如检索相隔10个单词的”apache”和”jakarta”,”jakarta apache”~10

“^” 控制相关度检索,如检索jakarta apache,同时希望去让”jakarta”的相关度更加好,那么在其后加上”^”符号和增量值,即jakarta^4 apache

布尔操作符AND、||

布尔操作符OR、&&

布尔操作符NOT、!、- (排除操作符不能单独与项使用构成查询)

“+” 存在操作符,要求符号”+”后的项必须在文档相应的域中存在
( ) 用于构成子查询
[] 包含范围检索,如检索某时间段记录,包含头尾,date:[200707 TO 200710]
{} 不包含范围检索,如检索某时间段记录,不包含头尾
date:{200707 TO 200710}
/ 转义操作符,特殊字符包括+ - && || ! ( ) { } [ ] ^ ” ~ * ? : /

注:①“+”和”-“表示对单个查询单元的修饰,and 、or 、 not 是对两个查询单元是否做交集或者做差集还是取反的操作的符号

   比如:AB:china +AB:america,表示的是AB:china忽略不计可有可无,必须满足第二个条件才是对的,而不是你所认为的必须满足这两个搜索条件

   如果输入:AB:china AND AB:america,解析出来的结果是两个条件同时满足,即+AB:china AND +AB:america或+AB:china +AB:america

  总而言之,查询语法: 修饰符 字段名:查询关键词 AND/OR/NOT 修饰符 字段名:查询关键词

3、 Solr查询语法

1.最普通的查询,比如查询姓张的人( Name:张),如果是精准性搜索相当于SQL SERVER中的LIKE搜索这需要带引号(”“),比如查询含有北京的(Address:”北京”)

2.多条件查询,注:如果是针对单个字段进行搜索的可以用(Name:搜索条件加运算符(OR、AND、NOT) Name:搜索条件),比如模糊查询( Name:张 OR Name:李)单个字段多条件搜索不建议这样写,一般建议是在单个字段里进行条件筛选,如(Name:张 OR 李),多个字段查询(Name:张 + Address:北京 )

3.排序,比如根据姓名升序(Name asc),降序(Name desc)

4.查询结果匹配

一般情况下solr默认是进行拆分匹配查询的,如:“苏小小”拆成“苏”,“小”,“小”等。但是如果要进行完全匹配 “苏小小” 可以将关键词用双引号括起来如下:

例如 :

http://localhost:8081/solr/select/?q=name:”苏小小”&version=2.2&start=0&rows=10&indent=on&sort=cDate desc&hl=true&hl.fl=content

注意:如果在搜索的目标上有一句话中包含这个关键字,那么这段话也会被搜索到,如:“很久很久以前苏小小就是很出名了”。千万不要以为只是关键字的内容才能搜索到。


五、项目代码:

pom文件引入:

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-data-solr</artifactId>
</dependency>


application.yml 中加上如上配置:


#配置sorl
spring:
  data:
    solr:
      host: http://192.168.1.130:8089/solr/solrDemo

使用autowired注解spring就能自动帮你注入SolrClient 

package com.tj.dr.service.impl;

...
import java.util.List;

@Service
public class SearchServiceImpl implements SearchService {

    @Autowired
    private SearchMapper searchMapper;

    @Autowired
    private SolrClient solrClient;

    @Reference(version = "1.0")
    private UserInterfaces userInterfaces;

    @Reference(version = "1.0")
    private ConfigInterface configInterface;

    /**
     * 更新索引库所有索引
     */
    @Override
    public void importAllIndex() {
        try {
            List<SearchGoodsDto> searchGoodsDtos = searchMapper.selectByGoodsList();

            List<SolrInputDocument> documents = new ArrayList<>();
            for (SearchGoodsDto goods : searchGoodsDtos) {
                SolrInputDocument document = new SolrInputDocument();
                document.addField("id", goods.getId());
                document.addField("goodsName", goods.getGoodsName());
                String price = goods.getGoodsPrice().toString();
                document.addField("goodsPrice", price);
                String url = null;
                if (!Common.isEmpty(goods.getGoodsMainPhotoId())) {
                    RedpigmallAccessory pic = userInterfaces.getRedpigmallAccessoryById(Long.valueOf(goods.getGoodsMainPhotoId()));
                    url = configInterface.getSysConfig().getDetail().getImagewebserver() + pic.getPath() + "/"
                            + pic.getName();
                }
                document.addField("goodsMainPhotoId", url);
                documents.add(document);
            }

            solrClient.add(documents);

            solrClient.commit();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 分页查询商品
     *
     * @param name
     * @param currentPage
     * @param pageSize
     * @return
     */
    @Override
    public PageUtils query(String name, int currentPage, int pageSize) throws IOException, SolrServerException {

        SolrQuery params = new SolrQuery();
        //查询条件
        params.set("q", "goodsName:" + name);
        //这里的分页和mysql分页一样
        params.set("start", (currentPage - 1) * pageSize);
        params.set("rows", pageSize);
        params.set("wt", "json");
        QueryResponse query = solrClient.query(params);
        //查询结果
        SolrDocumentList results = query.getResults();

        List<GoodsClassNameVo> list = new ArrayList<>();
        for (SolrDocument result : results) {
            GoodsClassNameVo searchGoodsDto = new GoodsClassNameVo();
            searchGoodsDto.setId(Long.valueOf(result.get("id").toString()));
            searchGoodsDto.setGoodsName(String.valueOf(result.get("goodsName")));
            BigDecimal goodsPrice = new BigDecimal(result.get("goodsPrice").toString());
            searchGoodsDto.setGoodsPrice(goodsPrice);
            if (null!=result.get("goodsMainPhotoId")){
                searchGoodsDto.setIcon(result.get("goodsMainPhotoId").toString());
            }

            list.add(searchGoodsDto);
        }
        //搜索总数
        long found = results.getNumFound();
        //搜索开始
        long start = results.getStart();

        PageUtils<GoodsClassNameVo> pageUtils = new PageUtils<>();
        pageUtils.setPageNum(currentPage);
        pageUtils.setPageSize(pageSize);
        pageUtils.setTotalNum(Integer.valueOf(String.valueOf(found)));
        pageUtils.setPageCount(Integer.valueOf(String.valueOf(found / pageSize == 0 ? found / pageSize : found / pageSize + 1)));
        pageUtils.setIsMore(found - start > pageSize ? 1 : 0);
        pageUtils.setItems(list);

        return pageUtils;
    }

    /**
     * @param
     * @author: ZhongQiuwu
     * Description:添加单个商品索引
     * @Date: 13:54 2018/3/31
     */
    @Override
    public void addGoodsIndex(SearchGoodsDto searchGoodsDto) throws IOException, SolrServerException {
        RedpigmallAccessory pic = userInterfaces.getRedpigmallAccessoryById(Long.valueOf(searchGoodsDto.getGoodsMainPhotoId()));
        String url = null;
        if (pic != null) {
            url = configInterface.getSysConfig().getDetail().getImagewebserver() + pic.getPath() + "/"
                    + pic.getName();
        }
        SolrInputDocument document = new SolrInputDocument();
        document.addField("id", searchGoodsDto.getId());
        document.addField("goodsName", searchGoodsDto.getGoodsName());
        String price = searchGoodsDto.getGoodsPrice().toString();
        document.addField("goodsPrice", price);
        document.addField("goodsMainPhotoId", url);
        solrClient.add(document);
        solrClient.commit();
    }

    /**
     * @param
     * @param ids
     * @author: ZhongQiuwu
     * Description: 根据id批量删除
     * @Date: 13:59 2018/3/31
     */
    @Override
    public void deleteGoodsIndex(String[] ids) throws IOException, SolrServerException {
        List list = new ArrayList<>();
        for (String id : ids) {
            list.add(id);
        }
        solrClient.deleteById(list);
        solrClient.commit();
    }
}
©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值