分布式项目中使用solr搜索+IKAnalyzer中文分词器进行项目开发

最新推荐文章于 2020-12-25 10:17:54 发布

努力做一名好程序猿

最新推荐文章于 2020-12-25 10:17:54 发布

阅读量280

点赞数

分类专栏： java

本文链接：https://blog.csdn.net/qq_41612479/article/details/102798728

版权

java 专栏收录该内容

17 篇文章 0 订阅

订阅专栏

Solr概述

1.什么是Solr

Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。
Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。 
Solr可以独立运行，运行在Jetty、Tomcat等这些Servlet容器中，Solr 索引的实现方法很简单，
用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档，
Solr根据xml文档添加、删除、更新索引 。Solr 搜索只需要发送 HTTP GET 请求，
然后对 Solr 返回Xml、json等格式的查询结果进行解析，组织页面布局。
Solr不提供构建UI的功能，Solr提供了一个管理界面，通过管理界面可以查询Solr的配置和运行情况。

2.下载

从Solr官方网站（http://lucene.apache.org/solr/ ）下载Solr4.10.3，
根据Solr的运行环境，Linux下需要下载lucene-4.10.3.tgz，windows下需要下载lucene-4.10.3.zip。
Solr使用指南可参考：https://wiki.apache.org/solr/FrontPage。
下载lucene-4.10.3.zip并解压：

或者下载我提供的

solr：链接：https://pan.baidu.com/s/1vqpsux-WmiQfyF8WviBK2g
提取码：hbbe
IKAnalyzer中文分词器：链接：https://pan.baidu.com/s/1TgxukA_Wy6BSBomBcB80hg
提取码：kqtb

bin：solr的运行脚本
contrib：solr的一些贡献软件/插件，用于增强solr的功能。
dist：该目录包含build过程中产生的war和jar文件，以及相关的依赖文件。
docs：solr的API文档
example：solr工程的例子目录：
	example/solr：
	该目录是一个包含了默认配置信息的Solr的Core目录。
	example/multicore：
	该目录包含了在Solr的multicore中设置的多个Core目录。 
	example/webapps：
该目录中包括一个solr.war，该war可作为solr的运行实例工程。
licenses：solr相关的一些许可信息

3.Solr的安装及配置

3.1 运行环境

tomcat纯净版：链接：https://pan.baidu.com/s/1WJw-Cxjcss1PMPpH-N7FGQ
提取码：x7c5

solr 需要运行在一个Servlet容器中，Solr4.10.3要求jdk使用1.7以上，
Solr默认提供Jetty（java写的Servlet容器），本教程使用Tocmat作为Servlet容器，环境如下：

Solr：Solr4.10.3
Jdk：jdk1.7.0_72
Tomcat：apache-tomcat-7.0.53

3.2 Solr整合tomcat

1.将dist\solr-4.10.3.war拷贝到Tomcat的webapp目录下改名为solr.war

2.启动tomcat后，solr.war自动解压，将原来的solr.war删除。

3.拷贝example\lib\ext 目录下所有jar包到Tomcat的webapp\solr\WEB-INF\lib目录下

4.拷贝log4j.properties文件
在Tomcat下webapps\solr\WEB-INF目录中创建文件 classes文件夹，
复制Solr目录下example\resources\log4j.properties至Tomcat下webapps\solr\WEB-INF\classes目录 

5.在tomcat外部或者磁盘外部随便创建一个没有中午的目录，我创建的是solr目录，以便我后期查找，创建solrhome（该目录下将来索引库所存放的目录）及配置solrcore的solrconfig.xml文件（windows下不能自动创建索引集合，所以需要配置文件先做第六步）
配置文件：
在solr软件下找到 example\solr\collection1  将collection1文件夹复制粘贴到自己刚刚创建的solrhome下

6.修改Tomcat目录 下webapp\solr\WEB-INF\web.xml文件，如下所示：
设置Solr home
<!--配置jndi告诉solr工程我们的solrhome的位置-->
<env-entry>
	<env-entry-name>solr/home</env-entry-name>
	<env-entry-value>D:/temp/solr/solrhome</env-entry-value>
	<env-entry-type>java.lang.String</env-entry-type>
</env-entry>

7.启动他
网址输入：localhost:8080/solr

3.3 Solr界面功能

安装中文分词器

第一步：配置IKAnalyzer的jar包

拷贝IKAnalyzer的文件到Tomcat下Solr目录中
将IKAnalyzer2012FF_u1.jar拷贝到 Tomcat的webapps/solr/WEB-INF/lib 下。

第二步：IKAnalyzer的配置文件

在Tomcat的webapps/solr/WEB-INF/下创建classes目录
将IKAnalyzer.cfg.xml、ext_stopword.dic  mydict.dic  copy到 Tomcat的
webapps/solr/WEB-INF/classes
注意：ext_stopword.dic 和mydict.dic必须保存成无BOM的utf-8类型。

第三步：修改schema.xml文件（solrhome下的）


修改schema.xml文件
修改Solr的schema.xml文件，拉到最后一行后面添加FieldType：
<fieldType name="text_ik" class="solr.TextField">
  <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>


第四步：设置业务系统Field（根据自己项目的字段设置，后面的存入索引库和取出索引库都是要用到的）
    

设置业务系统Field  我当前的项目
   <fieldType name="text_ik" class="solr.TextField">
	  <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
	</fieldType>
	
		<field name="course_cname" type="text_ik" indexed="true" stored="true"/>
		<field name="course_thid" type="int" indexed="true" stored="true"/>
		<field name="course_price"  type="float" indexed="true" stored="true"/>
		<field name="course_thname" type="string" indexed="true" stored="true" />
		<field name="course_details" type="int" indexed="true" stored="true" />
		<field name="course_time" type="date" indexed="true" stored="true" />
		<field name="course_coutime" type="float" indexed="true" stored="true" />
		<field name="course_thpic" type="string" indexed="true" stored="true" />

综合字段查
		<field name="course_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
			<copyField source="course_cname" dest="course_keywords"/>
			<copyField source="course_price" dest="course_keywords"/>
			<copyField source="course_thname" dest="course_keywords"/>

1.配置工程

 <!--solr-->
        <dependency>
            <groupId>org.noggit</groupId>
            <artifactId>noggit</artifactId>
            <version>0.6</version>
        </dependency>

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpmime</artifactId>
            <version>4.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.solr</groupId>
            <artifactId>solr-solrj</artifactId>
            <version>4.10.3</version>
        </dependency>

2.商品信息导入索引库

2.1 需求分析

需要把数据库中的商品信息导入索引库，需要商品的id、商品的名称、商品的卖点、商品的价格、商品的图片、商品的分类名称。
原则：需要展示给用户的字段、需要搜索的字段需要添加到索引库。

2.2 Sql语句（我这使用的是jpa ，所以不用你把所有的信息都查出来，）

3.2 根据刚刚配置的中文分词器截取出的重要java代码

查找之前先存进索引库，

@Autowired
    private CourseRepository courseRepository;
    @Autowired
    private HttpSolrServer solrServer;
    @Override
    public String addInfoToSolr() {
        //1.查询所有课程
        List<Course> all = courseRepository.findAll();
        // 2.信息存入solr
        try {
            for (Course course : all) {
                SolrInputDocument document=new SolrInputDocument();
                document.setField("id",course.getCid());
                document.setField("course_thid",course.getThid());
                document.setField("course_cname", course.getCname());
                document.setField("course_thname", course.getThname());
                document.setField("course_price", course.getPrice());
                document.setField("course_details", course.getDetails());
                document.setField("course_time", course.getTime());
                document.setField("course_coutime", course.getCoutime());
                document.setField("course_thpic", course.getThpic());
                //添加到solr
                solrServer.add(document);
            }
            //提交使solr操作生效
            solrServer.commit();
            return "success";
        }catch (Exception e){
            e.printStackTrace();
        }
        return "fail";
    }

查找时从索引库中取出来：

/*
    *solr查询
     *  */
    @Override
    public SearchMsg searchInfo(String keywords,Integer page,Integer size) {
        //创建集合存储查询结果集
        List<Course> list=new ArrayList<>();
        //创建最终结果集，包含分页总条数和查询结果
        SearchMsg searchMsg=new SearchMsg();
        //创建query对象
        SolrQuery solrQuery = new SolrQuery();
        if(!StringUtils.isEmpty(keywords)){
            //传入关键字查询
            solrQuery.setQuery(keywords);
        }else {
            //全查
            solrQuery.setQuery("*:*");
        }
        if(page<1){
            page=1;
        }
        //设置查询条件
        solrQuery.setStart((page-1)*size);
        solrQuery.setRows(size);
        // 高亮显示
        solrQuery.setHighlight(true);
        //设置高亮显示的域
        solrQuery.addHighlightField("course_cname");
       // 高亮显示前缀
        solrQuery.setHighlightSimplePre("<font color='red'>");
        //后缀
        solrQuery.setHighlightSimplePost("</font>");
        solrQuery.set("df","course_keywords");
        try {
            //进行solr查询
            QueryResponse response = solrServer.query(solrQuery);
            //获得结果集
            SolrDocumentList results = response.getResults();
            //符合条件的总条数，封装到结果集中
            long numFound = results.getNumFound();

            searchMsg.setTotal(numFound);
            //遍历查询结果存入结果对象
            for (SolrDocument document : results) {
                Course course=new Course();
                course.setCid(Integer.parseInt((String) document.getFieldValue("id")));
                course.setThid((Integer) document.getFieldValue("course_thid"));
                course.setCname((String) document.getFieldValue("course_cname"));
                course.setCoutime((Float) document.getFieldValue("course_coutime"));
                course.setDetails((Integer) document.getFieldValue("course_details"));
                course.setThname((String) document.getFieldValue("course_thname"));
                course.setPrice((Float)document.getFieldValue("course_price"));
                course.setTime((Date) document.getFieldValue("course_time"));
                course.setThpic((String) document.getFieldValue("course_thpic"));
                list.add(course);
            }
            //封装到最后的结果集
            searchMsg.setList(list);
            return searchMsg;
        } catch (SolrServerException e) {
            e.printStackTrace();
        }
        return searchMsg;
    }

我的是在首页加载时首先去将数据库中的数据也就是刚刚配置好的字段信息存入到索引库，

然后点击搜索时，搜索出

努力做一名好程序猿

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分布式项目中使用solr搜索+IKAnalyzer中文分词器进行项目开发

Solr概述1.什么是SolrSolr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。 Solr可以独立运行，运行在Jetty、Tomcat等这些Servlet容器中，Solr 索引的实现方法很简单，用 POST 方法向 Solr 服...
复制链接

扫一扫