框架 day80 涛涛商城项目-redis安装单机版solr,搭建搜索服务层,solrJ使用

淘淘商城第八天

 

讲师:入云龙

今天内容：

商品搜索功能：

1、使用solr实现。

2、搭建搜索服务层。

 

 

1  Solr实现全文搜索

1.1    Solr是什么？

Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。

Solr是一个全文检索服务器，只需要进行配置就可以实现全文检索服务。

 

1.2    Solr的安装及配置

Solr的版本：4.10.3

1.2.1  安装步骤

需要把solr服务器安装到linux环境：

第一步：安装linux、jdk、tomcat。

[root@bogon ~]# ll

total 8044

-rw-r--r--. 1 root root 8234674 Oct 27  2013 apache-tomcat-7.0.47.tar.gz

[root@bogon ~]# tar -zxfapache-tomcat-7.0.47.tar.gz

[root@bogon ~]# ll

total 8048

drwxr-xr-x. 9 root root    4096 Sep 10 17:55 apache-tomcat-7.0.47

-rw-r--r--. 1 root root 8234674 Oct 27  2013 apache-tomcat-7.0.47.tar.gz

[root@bogon ~]# mkdir /usr/local/solr

[root@bogon ~]# cp apache-tomcat-7.0.47/usr/local/solr/tomcat

cp: omitting directory`apache-tomcat-7.0.47'

[root@bogon ~]# cp apache-tomcat-7.0.47/usr/local/solr/tomcat -r

[root@bogon ~]# cd /usr/local/solr/

[root@bogon solr]# ll

total 4

drwxr-xr-x. 9 root root 4096 Sep 10 17:56tomcat

[root@bogon solr]#

第二步：把solr的压缩包上传到服务器。并解压。

第三步：把/root/solr-4.10.3/dist/solr-4.10.3.war包部署到tomcat下。并改名为solr.war

[root@bogon dist]# cp solr-4.10.3.war/usr/local/solr/tomcat/webapps/solr.war

第四步：解压war包。启动tomcat自动解压。关闭tomcat。删除solr.war.

第五步：把/root/solr-4.10.3/example/lib/ext目录下所有的jar包复制到solr工程中。

[root@bogon ext]# cp */usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/

第六步：创建solrhome。Solrhome是存放solr服务器所有配置文件的目录。

[root@bogon example]# pwd

/root/solr-4.10.3/example

[root@bogon example]# cp -r solr/usr/local/solr/solrhome

[root@bogon example]#

第七步：告诉solr服务器solrhome的位置(jndi)。

需要修改solr工程的web.xml文件。

第八步：启动tomcat

1.2.2  配置业务字段

1、在solr中默认是中文分析器，需要手工配置。配置一个FieldType，在FieldType中指定中文分析器。

2、Solr中的字段必须是先定义后使用。

1.2.2.1 中文分析器的配置

第一步：使用IK-Analyzer。把分析器的文件夹上传到服务器。

第二步：需要把分析器的jar包添加到solr工程中。

[root@bogon IK Analyzer 2012FF_hf1]# cpIKAnalyzer2012FF_u1.jar /usr/local/solr/tomcat/webapps/solr/WEB-INF/lib/

[root@bogon IK Analyzer 2012FF_hf1]#

第三步：需要把IKAnalyzer需要的扩展词典及停用词词典、配置文件复制到solr工程的classpath。

/usr/local/solr/tomcat/webapps/solr/WEB-INF/classes

 

[root@bogon IK Analyzer 2012FF_hf1]# cpIKAnalyzer.cfg.xml ext_stopword.dic mydict.dic/usr/local/solr/tomcat/webapps/solr/WEB-INF/classes

[root@bogon IK Analyzer 2012FF_hf1]#

 

注意：扩展词典及停用词词典的字符集必须是utf-8。不能使用windows记事本编辑。

 

第四步：配置fieldType。需要在solrhome/collection1/conf/schema.xml中配置。

技巧：使用vi、vim跳转到文档开头gg。跳转到文档末尾：G

<fieldType name="text_ik" class="solr.TextField">   <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/> </fieldType>

 

1.2.2.2 业务字段配置

业务字段判断标准：

1、在搜索时是否需要在此字段上进行搜索。例如：商品名称、商品的卖点、商品的描述

2、后续的业务是否需要用到此字段。例如：商品id。

 

需要用到的字段：

1、商品id

2、商品title

3、卖点

4、价格

5、商品图片

6、商品分类名称

7、商品描述

 

Solr中的业务字段：

1、id——》商品id

使用solr本身提供的：

<fieldname="id"type="string" indexed="true"stored="true"required="true" multiValued="false"/>

2、 

其他的对应字段创建solr的字段。

<field name="item_title" type="text_ik" indexed="true" stored="true"/> <field name="item_sell_point" type="text_ik" indexed="true" stored="true"/> <field name="item_price"  type="long" indexed="true" stored="true"/> <field name="item_image" type="string" indexed="false" stored="true" /> <field name="item_category_name" type="string" indexed="true" stored="true" /> <field name="item_desc" type="text_ik" indexed="true" stored="false" />   <field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/> <copyField source="item_title" dest="item_keywords"/> <copyField source="item_sell_point" dest="item_keywords"/> <copyField source="item_category_name" dest="item_keywords"/> <copyField source="item_desc" dest="item_keywords"/>

 

重新启动tomcat

 

1.3    维护索引库

添加：添加一个json格式的文件就可以。

修改：在solr中没有update，只需要添加一个新的文档，要求文档id和被修改文档的id一致。原理是先删除后添加。

删除：使用xml格式。

删除两种方法：

1、根据id删除：

<delete>

<id>test001</id>

</delete>

<commit/>

2、根据查询删除：

<delete>

<query>*:*</query>

</delete>

<commit/>

 

 

2  solrJ客户端

需要依赖solrj的jar包。

<!-- solr客户端 -->           <dependency>                <groupId>org.apache.solr</groupId>                <artifactId>solr-solrj</artifactId>           </dependency>

 

2.1    使用solrj的使用

public class SolrJTest {        @Test      public void addDocument() throws Exception {           //创建一连接           SolrServer solrServer = new HttpSolrServer("http://192.168.25.154:8080/solr");           //创建一个文档对象           SolrInputDocument document = new SolrInputDocument();           document.addField("id","test001");           document.addField("item_title","测试商品2");           document.addField("item_price", 54321);           //把文档对象写入索引库           solrServer.add(document);           //提交           solrServer.commit();      }           @Test      public void deleteDocument() throws Exception {           //创建一连接           SolrServer solrServer = new HttpSolrServer("http://192.168.25.154:8080/solr");           //solrServer.deleteById("test001");           solrServer.deleteByQuery("*:*");           solrServer.commit();      } }

 

2.2    把商品信息导入到索引库

使用java程序读取mysql数据库中的商品信息，然后创建solr文档对象，把商品信息写入索引库。

需要发布一个服务。

 

为了灵活的进行分布式部署需要创建一搜素的服务工程发布 搜素服务。Taotao-search。

 

2.2.1  系统架构

2.2.2  创建taotao-search工程

2.2.3  Pom文件

需要依赖taottao-common工程

需要依赖的jar包：

Spring的jar包

Springmvc的jar包。

Solrj的jar包。

Mybatis的jar包。

 

参考taotao-rest工程。

 

<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"      xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">      <modelVersion>4.0.0</modelVersion>      <parent>           <groupId>com.taotao</groupId>           <artifactId>taotao-parent</artifactId>           <version>0.0.1-SNAPSHOT</version>      </parent>      <groupId>com.taotao</groupId>      <artifactId>taotao-search</artifactId>      <version>0.0.1-SNAPSHOT</version>      <packaging>war</packaging>      <dependencies>           <dependency>                <groupId>com.taotao</groupId>                <artifactId>taotao-manager-mapper</artifactId>                <version>0.0.1-SNAPSHOT</version>           </dependency>           <!-- Spring -->           <dependency>                <groupId>org.springframework</groupId>                <artifactId>spring-context</artifactId>           </dependency>           <dependency>                <groupId>org.springframework</groupId>                <artifactId>spring-beans</artifactId>           </dependency>           <dependency>                <groupId>org.springframework</groupId>                <artifactId>spring-webmvc</artifactId>           </dependency>           <dependency>                <groupId>org.springframework</groupId>                <artifactId>spring-jdbc</artifactId>           </dependency>           <dependency>                <groupId>org.springframework</groupId>                <artifactId>spring-aspects</artifactId>           </dependency>           <dependency>                <groupId>javax.servlet</groupId>                <artifactId>servlet-api</artifactId>                <scope>provided</scope>           </dependency>           <dependency>                <groupId>javax.servlet</groupId>                <artifactId>jsp-api</artifactId>                <scope>provided</scope>           </dependency>           <!-- solr客户端 -->           <dependency>                <groupId>org.apache.solr</groupId>                <artifactId>solr-solrj</artifactId>           </dependency>      </dependencies>      <build>           <!-- 配置插件 -->           <plugins>                <plugin>                     <groupId>org.apache.tomcat.maven</groupId>                     <artifactId>tomcat7-maven-plugin</artifactId>                     <configuration>                          <port>8083</port>                          <path>/</path>                     </configuration>                </plugin>           </plugins>      </build> </project>

 

2.2.4  Web.xml

 

<?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"      xmlns="http://java.sun.com/xml/ns/javaee"xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"      xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"      id="taotao"version="2.5">      <display-name>taotao-search</display-name>      <welcome-file-list>           <welcome-file>index.html</welcome-file>           <welcome-file>index.htm</welcome-file>           <welcome-file>index.jsp</welcome-file>           <welcome-file>default.html</welcome-file>           <welcome-file>default.htm</welcome-file>           <welcome-file>default.jsp</welcome-file>      </welcome-file-list>      <!-- 加载spring容器 -->      <context-param>           <param-name>contextConfigLocation</param-name>           <param-value>classpath:spring/applicationContext-*.xml</param-value>      </context-param>      <listener>           <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>      </listener>      <!-- 解决post乱码 -->      <filter>           <filter-name>CharacterEncodingFilter</filter-name>           <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>           <init-param>                <param-name>encoding</param-name>                <param-value>utf-8</param-value>           </init-param>      </filter>      <filter-mapping>           <filter-name>CharacterEncodingFilter</filter-name>           <url-pattern>/*</url-pattern>      </filter-mapping>      <!-- springmvc的前端控制器 -->      <servlet>           <servlet-name>taotao-search</servlet-name>           <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>           <!-- contextConfigLocation不是必须的， 如果不配置contextConfigLocation，springmvc的配置文件默认在：WEB-INF/servlet的name+"-servlet.xml" -->           <init-param>                <param-name>contextConfigLocation</param-name>                <param-value>classpath:spring/springmvc.xml</param-value>           </init-param>           <load-on-startup>1</load-on-startup>      </servlet>      <servlet-mapping>           <servlet-name>taotao-search</servlet-name>           <url-pattern>/search/*</url-pattern>      </servlet-mapping> </web-app>

 

2.2.5  框架整合

参考taotao-rest工程

2.3    导入商品数据

2.3.1  需要使用的表

2.3.2  Sql语句

SELECT

      a.id,

      a.title,

      a.sell_point,

      a.price,

      a.image,

      b.`name`category_name,

      c.item_desc

FROM

      tb_itema

LEFT JOIN tb_item_cat b ON a.cid = b.id

LEFT JOIN tb_item_desc c ON a.id =c.item_id

 

2.3.3  Dao层

需要创建一个mapper接口+mapper映射文件。名称相同且在同一目录下。

2.3.3.1 pojo

创建一个sql语句对应的pojo。

public class Item {        private String id;      private String title;      private String sell_point;      private long price;      private String image;      private String category_name;      private String item_des; }

 

2.3.3.2 接口定义

2.3.3.3 Mapper文件

<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN""http://mybatis.org/dtd/mybatis-3-mapper.dtd" > <mapper namespace="com.taotao.search.mapper.ItemMapper">           <selectid="getItemList"resultType="com.taotao.search.pojo.Item">           SELECT                a.id,                a.title,                a.sell_point,                a.price,                a.image,                b. NAME category_name           FROM                tb_item a           LEFT JOIN tb_item_cat b ON a.cid = b.id      </select>   </mapper>

 

2.3.4  Service层

功能：导入所有的商品数据。没有参数。返回结果TaotaoResult。从数据库中查询出所有的商品数据。创建一个SolrInputDocument对象，把对象写入索引库。

 

@Service public class ItemServiceImpl implements ItemService {        @Autowired      private ItemMapper itemMapper;           @Autowired      private SolrServer solrServer;           @Override      public TaotaoResult importAllItems() {           try {                               //查询商品列表                List<Item> list = itemMapper.getItemList();                //把商品信息写入索引库                for (Item item : list) {                     //创建一个SolrInputDocument对象                     SolrInputDocument document =new SolrInputDocument();                     document.setField("id",item.getId());                     document.setField("item_title",item.getTitle());                     document.setField("item_sell_point",item.getSell_point());                     document.setField("item_price",item.getPrice());                     document.setField("item_image",item.getImage());                     document.setField("item_category_name",item.getCategory_name());                     document.setField("item_desc",item.getItem_des());                     //写入索引库                     solrServer.add(document);                }                //提交修改                solrServer.commit();           } catch (Exceptione) {                e.printStackTrace();                return TaotaoResult.build(500, ExceptionUtil.getStackTrace(e));           }           return TaotaoResult.ok();      }   }

 

applicationContext-solr.xml

<!-- 配置SolrServer对象 -->      <!-- 单机版 -->      <bean id="httpSolrServer" class="org.apache.solr.client.solrj.impl.HttpSolrServer">           <constructor-argname="baseURL"value="${SOLR.SERVER.URL}"></constructor-arg>      </bean>

 

2.3.5  Controller层

功能：发布一个rest形式的服务。调用Service的服务方法，把数据导入到索引库中，返回TaotaoResult。

 

Url：/search/manager/importall

@Controller @RequestMapping("/manager") public class ItemController {           @Autowired      private ItemService itemService;        /**       * 导入商品数据到索引库       */      @RequestMapping("/importall")      @ResponseBody      public TaotaoResult importAllItems() {           TaotaoResult result =itemService.importAllItems();           return result;      } }

 

修改pom文件，添加如下配置：

<build>        <resources>                <resource>                     <directory>src/main/java</directory>                     <includes>                          <include>**/*.properties</include>                          <include>**/*.xml</include>                     </includes>                     <filtering>false</filtering>                </resource>                <resource>                     <directory>src/main/resources</directory>                     <includes>                          <include>**/*.properties</include>                          <include>**/*.xml</include>                     </includes>                     <filtering>false</filtering>                </resource>           </resources>      </build>

 

3  搜索服务发布

3.1    需求分析

http形式的服务。对外提供搜索服务是一个get形式的服务。调用此服务时需要查询条件，分页条件可以使用page（要显示第几页）、rows（每页显示的记录数）。返回一个json格式的数据。可以使用TaotaoResult包装一个商品列表转换成json。

 

请求的url：/search/query/{查询条件}/{page}/{rows}

          /search/query?q={查询条件}&page={page}&rows={rows}

返回的结果：TaotaoResult包装商品列表。

 

3.2    Dao层

分析：尽可能的做的通用一些。参数应该是SolrQuery。返回商品列表、查询结果总记录数

 

查询测试：

@Test      public void queryDocument() throws Exception {           SolrServer solrServer = new HttpSolrServer("http://192.168.25.154:8080/solr");           //创建一个查询对象           SolrQuery query = new SolrQuery();           //设置查询条件           query.setQuery("*:*");           query.setStart(20);           query.setRows(50);           //执行查询           QueryResponse response = solrServer.query(query);           //取查询结果           SolrDocumentList solrDocumentList =response.getResults();           System.out.println("共查询到记录：" +solrDocumentList.getNumFound());           for (SolrDocumentsolrDocument : solrDocumentList) {                System.out.println(solrDocument.get("id"));                System.out.println(solrDocument.get("item_title"));                System.out.println(solrDocument.get("item_price"));                System.out.println(solrDocument.get("item_image"));                          }      }

 

返回结果pojo：

public class SearchResult {        //商品列表      private List<Item> itemList;      //总记录数      private long recordCount;      //总页数      private long pageCount;      //当前页      private long curPage; }

 

@Repository public class SearchDaoImpl implements SearchDao {           @Autowired      private SolrServer solrServer;        @Override      public SearchResult search(SolrQueryquery) throws Exception {           //返回值对象           SearchResult result = new SearchResult();           //根据查询条件查询索引库           QueryResponse queryResponse = solrServer.query(query);           //取查询结果           SolrDocumentList solrDocumentList =queryResponse.getResults();           //取查询结果总数量           result.setRecordCount(solrDocumentList.getNumFound());           //商品列表           List<Item> itemList = new ArrayList<>();           //取高亮显示           Map<String, Map<String, List<String>>> highlighting =queryResponse.getHighlighting();           //取商品列表           for (SolrDocumentsolrDocument : solrDocumentList) {                //创建一商品对象                Item item = new Item();                item.setId((String) solrDocument.get("id"));                //取高亮显示的结果                List<String> list = highlighting.get(solrDocument.get("id")).get("item_title");                String title ="";                if (list !=null && list.size()>0) {                     title =list.get(0);                } else {                     title = (String)solrDocument.get("item_title");                }                item.setTitle(title);                item.setImage((String) solrDocument.get("item_image"));                item.setPrice((long)solrDocument.get("item_price"));                item.setSell_point((String) solrDocument.get("item_sell_point"));                item.setCategory_name((String)solrDocument.get("item_category_name"));                //添加的商品列表                itemList.add(item);           }           result.setItemList(itemList);           return result;      }   }

3.3    Service层

功能：接收查询条件。查询条件及分页条件（page、rows），创建一个SolrQuery对象。指定查询条件、分页条件、默认搜索域、高亮显示。调用dao层执行查询。得到查询结果计算总页数。返回SearchResult对象。

@Service public class SearchServiceImpl implements SearchService {        @Autowired      private SearchDao searchDao;      @Override      public SearchResult search(StringqueryString, intpage, introws) throws Exception {           //创建查询对象           SolrQuery query = new SolrQuery();           //设置查询条件           query.setQuery(queryString);           //设置分页           query.setStart((page - 1) *rows);           query.setRows(rows);           //设置默认搜素域           query.set("df","item_keywords");           //设置高亮显示           query.setHighlight(true);           query.addHighlightField("item_title");           query.setHighlightSimplePre("<em style=\"color:red\">");           query.setHighlightSimplePost("</em>");           //执行查询           SearchResult searchResult =searchDao.search(query);           //计算查询结果总页数           long recordCount = searchResult.getRecordCount();           long pageCount = recordCount / rows;           if (recordCount %rows > 0) {                pageCount++;           }           searchResult.setPageCount(pageCount);           searchResult.setCurPage(page);                     return searchResult;      }   }

 

3.4    Controller层

接收查询参数：查询条件、page、rows

调用Service执行查询返回一个查询结果对象。

把查询结果包装到TaotaoResult中返回，结果是json格式的数据。

 

如果查询条件为空，返回状态码：400，消息：查询条件不能为空。

Page为空：默认为1

Rows 为空：默认为60

 

@Controller public class SearchController {        @Autowired      private SearchServicesearchService;           @RequestMapping(value="/query", method=RequestMethod.GET)      @ResponseBody      public TaotaoResult search(@RequestParam("q")StringqueryString,                @RequestParam(defaultValue="1")Integerpage,                @RequestParam(defaultValue="60")Integerrows) {           //查询条件不能为空           if (StringUtils.isBlank(queryString)) {                return TaotaoResult.build(400,"查询条件不能为空");           }           SearchResult searchResult =null;           try {                searchResult =searchService.search(queryString,page, rows);           } catch (Exceptione) {                e.printStackTrace();                return TaotaoResult.build(500, ExceptionUtil.getStackTrace(e));           }           return TaotaoResult.ok(searchResult);                }      }

 

扫描dao配置：

解决get乱码问题：

Tomcat默认的编码为ISO8859-1，需要转换成utf-8的编码。

或者

在controller中添加字符串编码转换逻辑