基于Solr的全文检索系统的实现与应用

一、概念

1、什么是Solr

Solr 是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。

Solr可以独立运行,运行在Jetty、Tomcat等这些Servlet容器中,Solr 索引的实现方法很简单,用 POST 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档,Solr根据xml文档添加、删除、更新索引 。Solr 搜索只需要发送 HTTP GET 请求,然后对 Solr 返回Xml、json等格式的查询结果进行解析,组织页面布局。Solr不提供构建UI的功能,Solr提供了一个管理界面,通过管理界面可以查询Solr的配置和运行情况。

2、与Lucene的比较区别

1)Lucene

Lucene是一个开放源代码的全文检索引擎工具包,它不是一个完整的全文检索引擎,Lucene提供了完整的查询引擎和索引引擎,目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者以Lucene为基础构建全文检索引擎。

单独使用Lucene实现站内搜索需要开发的工作量较大,主要表现在:索引维护、索引性能优化、搜索性能优化等,因此不建议采用。

2)Solr

Solr的目标是打造一款企业级的搜索引擎系统,它是一个搜索引擎服务,可以独立运行,通过Solr可以非常快速的构建企业的搜索引擎,通过Solr也可以高效的完成站内搜索功能。

基于Solr实现站内搜索扩展性较好并且可以减少程序员的工作量,因为Solr提供了较为完备的搜索引擎解决方案,因此在门户、论坛等系统中常用此方案。
在这里插入图片描述

二、Solr的安装与配置

1、Solr的下载

从Solr官方网站(http://lucene.apache.org/solr/ )下载Solr4.10.3,根据Solr的运行环境,Linux下需要下载lucene-4.10.3.tgz,windows下需要下载lucene-4.10.3.zip。

Solr使用指南可参考:https://wiki.apache.org/solr/FrontPage。

2、Solr的文件夹结构

将solr-4.10.3.zip解压后,目录如下:
在这里插入图片描述

  • bin:solr的运行脚本
  • contrib:solr的一些贡献软件/插件,用于增强solr的功能。
  • dist:该目录包含build过程中产生的war和jar文件,以及相关的依赖文件。
  • docs:solr的API文档
  • example:solr工程的例子目录:
    example/solr:该目录是一个包含了默认配置信息的Solr的Core目录。
    example/multicore:该目录包含了在Solr的multicore中设置的多个Core目录。
    example/webapps: 该目录中包括一个solr.war,该war可作为solr的运行实例工程。
  • licenses:solr相关的一些许可信息

3、运行环境

solr 需要运行在一个Servlet容器中,Solr4.10.3要求jdk使用1.7以上,Solr默认提供Jetty(java写的Servlet容器),本教程使用Tocmat作为Servlet容器,环境如下:

  • Solr:Solr4.10.3
  • Jdk:jdk1.8.0_72
  • Tomcat:apache-tomcat-7.0.53

4、Solr整合tomcat

1)Solr Home与SolrCore

创建一个Solr home目录,SolrHome是Solr运行的主目录,目录中包括了运行Solr实例所有的配置文件和数据文件,Solr实例就是SolrCore,一个SolrHome可以包括多个SolrCore(Solr实例),每个SolrCore提供单独的搜索和索引服务。

example\solr是一个solr home目录结构,如下:
在这里插入图片描述
上图中“collection1”是一个SolrCore(Solr实例)目录 ,目录内容如下所示:
在这里插入图片描述
说明:

collection1:是一个Solr运行实例SolrCore,SolrCore名称不固定,一个solr运行实例对外单独提供索引和搜索接口。
solrHome中可以创建多个solr运行实例SolrCore。
一个solr的运行实例对应一个索引目录
conf是SolrCore的配置文件目录 。
data目录存放索引文件需要创建

2)整合步骤

  • 第一步:安装tomcat。
  • 第二步:把solr的war包复制到tomcat 的webapp目录下。
  • 第三步:solr.war解压。
  • 第四步:把\solr-4.10.3\example\lib\ext目录下的所有的jar包添加到solr工程中的WEB-INF\lib。
  • 第五步:配置solrHome和solrCore。
    1)创建一个solrhome(存放solr所有配置文件的一个文件夹)。
    2)把\solr-4.10.3\example\solr文件夹复制到solrhome文件夹中,文件夹名字没规定是这个,是为了便于理解。
  • 第六步:告诉solr服务器配置文件也就是solrHome的位置。修改solr工程中的web.xml。
    Solr/home名称必须是固定的。
    在这里插入图片描述
  • 第七步:启动tomcat
  • 第八步:访问http://localhost:8090/solr/

5、Solr管理后台

在这里插入图片描述

1)Dashboard

仪表盘,显示了该Solr实例开始启动运行的时间、版本、系统资源、jvm等信息。

2)Logging

Solr运行日志信息

3)Cloud

Cloud即SolrCloud,即Solr云(集群),当使用Solr Cloud模式运行时会显示此菜单。

4)Core Admin

Solr Core的管理界面。Solr Core 是Solr的一个独立运行实例单位,它可以对外提供索引和搜索服务,一个Solr工程可以运行多个SolrCore(Solr实例),一个Core对应一个索引目录。

添加solrcore:

  • 第一步:复制collection1改名为collection2
  • 第二步:修改core.properties。name=collection2
  • 第三步:重启tomcat

5) java properties

Solr在JVM 运行环境中的属性信息,包括类路径、文件编码、jvm内存设置等信息。

6)Tread Dump

显示Solr Server中当前活跃线程信息,同时也可以跟踪线程运行栈信息。

7)Core selector

选择一个SolrCore进行详细操作,如下:
在这里插入图片描述

8)Analysis

在这里插入图片描述
通过此界面可以测试索引分析器和搜索分析器的执行情况。

9)Dataimport

可以定义数据导入处理器,从关系数据库将数据导入 到Solr索引库中。

10)Document

通过此菜单可以创建索引、更新索引、删除索引等操作,界面如下:
在这里插入图片描述
/update表示更新索引,solr默认根据id(唯一约束)域来更新Document的内容,如果根据id值搜索不到id域则会执行添加操作,如果找到则更新。

11)Query

在这里插入图片描述
通过/select执行搜索索引,必须指定“q”查询条件方可搜索。

6、配置中文分析器

1)Schema.xml

schema.xml,在SolrCore的conf目录下,它是Solr数据表配置文件,它定义了加入索引的数据的数据类型的。主要包括FieldTypes、Fields和其他的一些缺省设置。
在这里插入图片描述

1. FieldType域类型定义

“text_general”是Solr默认提供的FieldType,通过它说明FieldType定义的内容:
在这里插入图片描述
FieldType子结点包括:name,class,positionIncrementGap等一些参数:

  • name:是这个FieldType的名称
  • class:是Solr提供的包solr.TextField,solr.TextField 允许用户通过分析器来定制索引和查询,分析器包括一个分词器(tokenizer)和多个过滤器(filter)
  • positionIncrementGap:可选属性,定义在同一个文档中此类型数据的空白间隔,避免短语匹配错误,此值相当于Lucene的短语查询设置slop值,根据经验设置为100。

在FieldType定义的时候最重要的就是定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词和过滤

  • 索引分析器:使用solr.StandardTokenizerFactory标准分词器,solr.StopFilterFactory停用词过滤器,solr.LowerCaseFilterFactory小写过滤器。
  • 搜索分析器:使用solr.StandardTokenizerFactory标准分词器,solr.StopFilterFactory停用词过滤器,这里还用到了solr.SynonymFilterFactory同义词过滤器。
2. Field定义

在fields结点内定义具体的Field,filed定义包括name,type(为之前定义过的各种FieldType),indexed(是否被索引),stored(是否被储存),multiValued(是否存储多个值)等属性,如下:

<field name="name" type="text_general" indexed="true" stored="true"/>
<field name="features" type="text_general" indexed="true" stored="true" multiValued="true"/>

multiValued:该Field如果要存储多个值时设置为true,solr允许一个Field存储多个值,比如存储一个用户的好友id(多个),商品的图片(多个,大图和小图),通过使用solr查询要看出返回给客户端是数组:
在这里插入图片描述

3. uniqueKey

Solr中默认定义唯一主键key为id域,如下:
在这里插入图片描述
Solr在删除、更新索引时使用id域进行判断,也可以自定义唯一主键。
注意在创建索引时必须指定唯一约束

4. copyField复制域

copyField复制域,可以将多个Field复制到一个Field中,以便进行统一的检索,比如,输入关键字搜索title标题内容content,定义title、content、text的域:
在这里插入图片描述
根据关键字只搜索text域的内容就相当于搜索title和content,将title和content复制到text中,如下:
在这里插入图片描述

5. dynamicField(动态字段)

动态字段就是不用指定具体的名称,只要定义字段名称的规则,例如定义一个 dynamicField,name 为*_i,定义它的type为text,那么在使用这个字段的时候,任何以_i结尾的字段都被认为是符合这个定义的,例如:name_i,gender_i,school_i等。

a、自定义Field名为:product_title_t,“product_title_t”和scheam.xml中的dynamicField规则匹配成功,如下:“product_title_t”是以“_t”结尾。
在这里插入图片描述
b、创建索引
在这里插入图片描述
c、搜索索引
在这里插入图片描述

2)安装使用IKAnalyzer中文分词器

  • 第一步:把IKAnalyzer2012FF_u1.jar添加到solr/WEB-INF/lib目录下。
  • 第二步:复制IKAnalyzer的配置文件和自定义词典和停用词词典到solr的classpath(在web-inf中自建的)下。
  • 第三步:在schema.xml中添加一个自定义的fieldType,使用中文分析器。
<!-- IKAnalyzer-->
<fieldType name="text_ik" class="solr.TextField">
  <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>
  • 第四步:定义field,指定field的type属性为text_ik
<!--IKAnalyzer Field-->
<field name="title_ik" type="text_ik" indexed="true" stored="true" />
<field name="content_ik" type="text_ik" indexed="true" stored="false" multiValued="true"/>
  • 第五步:重启tomcat

测试效果:
在这里插入图片描述

三、Solr管理索引库(不推荐)

1、添加/更新文档

添加或更新单个文档
在这里插入图片描述

2、批量导入数据

使用dataimport插件批量导入数据。

  • 第一步:把dataimport插件依赖的jar包以及mysql的数据库驱动包
    添加到solrhome\collection1\lib中
    在这里插入图片描述
    在这里插入图片描述
  • 第二步:配置solrhome\collection1\conf路径下的solrconfig.xml文件,添加一个requestHandler。
<requestHandler name="/dataimport" 
class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
      <str name="config">data-config.xml</str>
     </lst>
  </requestHandler>
  • 第三步:创建一个data-config.xml,保存到collection1\conf\目录下
<?xml version="1.0" encoding="UTF-8" ?>  
<dataConfig>   
<dataSource type="JdbcDataSource"   
          driver="com.mysql.jdbc.Driver"   
          url="jdbc:mysql://localhost:3306/lucene"   
          user="root"   
          password="123"/>   
<document>   
    <entity name="product" query="SELECT pid,name,catalog_name,price,description,picture FROM products ">
         <field column="pid" name="id"/> 
         <field column="name" name="product_name"/> 
         <field column="catalog_name" name="product_catalog_name"/> 
         <field column="price" name="product_price"/> 
         <field column="description" name="product_description"/> 
         <field column="picture" name="product_picture"/> 
    </entity>   
</document>   
</dataConfig>
  • 第四步:这里还没有lucene数据库,创建一个,然后导入sql文件。
  • 第五步:data-config.xml里面的字段还没映射,配置schema.xml
<!--product-->
   <field name="product_name" type="text_ik" indexed="true" stored="true"/>
   <field name="product_price"  type="float" indexed="true" stored="true"/>
   <field name="product_description" type="text_ik" indexed="true" stored="false" />
   <field name="product_picture" type="string" indexed="false" stored="true" />
   <field name="product_catalog_name" type="string" indexed="true" stored="true" />

   <field name="product_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
   <copyField source="product_name" dest="product_keywords"/>
   <copyField source="product_description" dest="product_keywords"/>
  • 第六步:重启tomcat
    在这里插入图片描述
  • 第七步:点击“execute”按钮导入数据
    导入数据前会先清空索引库,然后再导入。

3、删除文档

1) 删除制定ID的索引

<delete>
<id>8</id>
</delete>
<commit/>

2) 删除查询到的索引数据

<delete>
<query>product_catalog_name:幽默杂货</query>
</delete>

3) 删除所有索引数据

 <delete>
<query>*:*</query>
</delete>

4、查询文档

通过/select搜索索引,Solr制定一些参数完成不同需求的搜索:
1.q - 查询字符串,必须的,如果查询所有使用,例如:
在这里插入图片描述
2.fq-(filter query)过虑查询,作用:在q查询符合结果中同时是fq查询符合的,例如:
在这里插入图片描述
过滤查询价格从1到20的记录。
也可以在“q”查询条件中使用product_price:[1 TO 20],例如:
在这里插入图片描述
也可以使用“*”表示无限,例如:

  • 20以上:product_price:[20 TO *]
  • 20以下:product_price:[* TO 20]

3.sort - 排序,格式:sort=+<desc|asc>[,+<desc|asc>]… 。示例:
在这里插入图片描述
4.start - 分页显示使用,开始记录下标,从0开始
5.rows - 指定返回结果最多有多少条记录,配合start来实现分页
在这里插入图片描述
显示前10条

6.fl - 指定返回那些字段内容,用逗号或空格分隔多个。
在这里插入图片描述
7.df-指定一个搜索Field
在这里插入图片描述
也可以在SolrCore目录 中conf/solrconfig.xml文件中指定默认搜索Field,指定后就可以直接在“q”查询条件中输入关键字。
在这里插入图片描述
8.wt - (writer type)指定输出格式,可以有 xml, json, php, phps, 后面 solr 1.3增加的,要用通知我们,因为默认没有打开。
9.hl 是否高亮 ,设置高亮Field,设置格式前缀和后缀。
在这里插入图片描述

四、使用SolrJ管理索引库

1、什么是solrJ

solrj是访问Solr服务的java客户端,提供索引和搜索的请求方法,SolrJ通常在嵌入在业务系统中,通过SolrJ的API接口操作Solr服务,如下图:
在这里插入图片描述

2、创建Java工程,导入jar包

依赖的jar包
在这里插入图片描述
新建一个java文件:SolrManager,方便后续操作

import org.apache.solr.client.solrj.SolrServer;
import org.apache.solr.client.solrj.impl.HttpSolrServer;
import org.apache.solr.common.SolrInputDocument;
import org.junit.Test;

public class SolrManager {
	
}

3、添加文档

@Test
public void testadd() throws Exception{
    String baseURL="http://localhost:8090/solr";
    SolrServer solrServer=new HttpSolrServer(baseURL);
    SolrInputDocument doc = new SolrInputDocument();
    doc.setField("id", "123");
    doc.setField("name", "林格");
    //添加
    solrServer.add(doc);
    solrServer.commit();
}

4、删除文档

根据id删除

//删除文档,根据id删除
@Test
public void deleteDocumentByid() throws Exception {
    //创建连接
    SolrServer solrServer = new HttpSolrServer("http://localhost:8090/solr");
    //根据id删除文档
    solrServer.deleteById("123");
    //提交修改
    solrServer.commit();
}

根据查询删除

//根据查询条件删除文档
@Test
public void deleteDocumentByQuery() throws Exception {
    //创建连接
    SolrServer solrServer = new HttpSolrServer("http://localhost:8090/solr");
    //根据查询条件删除文档
    solrServer.deleteByQuery("*:*");
    //提交修改
    solrServer.commit();
}

5、修改文档

在solrJ中修改没有update方法,只有add方法,我们只需要添加一条新的文档,和被修改的文档id一致就可以修改了。本质上就是先删除后添加。

6、查询文档

//简单查询
@Test
public void queryIndex() throws Exception{
    //创建连接
    SolrServer solrServer = new HttpSolrServer("http://localhost:8090/solr");
    //创建一个query对象
    SolrQuery query = new SolrQuery();
    //设置查询条件
    query.setQuery("*:*");
    //执行查询
    QueryResponse queryResponse = solrServer.query(query);
    //得到查询结果
    SolrDocumentList solrDocumentList= queryResponse.getResults();
    //查询到的商品数量
    System.out.println("共查询到商品数量:" + solrDocumentList.getNumFound());
    for (SolrDocument solrDocument : solrDocumentList) {
        System.out.println(solrDocument.get("id"));
       System.out.println(solrDocument.get("product_name"));
       System.out.println(solrDocument.get("product_price"));
       System.out.println(solrDocument.get("product_catalog_name"));
       System.out.println(solrDocument.get("product_picture"));
   }
}

复杂查询,其中包含查询、过滤、分页、排序、高亮显示等处理。

//复杂查询
@Test
public void queryIndex2() throws Exception{
    //创建连接
    SolrServer solrServer = new HttpSolrServer("http://localhost:8090/solr");
    //创建一个query对象
    SolrQuery query = new SolrQuery();
    //设置查询条件
    query.setQuery("台灯");
    //过滤条件
    query.set("fq","product_catalog_name:雅致灯饰");
    //排序
    query.addSort("product_price",ORDER.desc);
    //分页
    query.setStart(0);
    query.setRows(10);
    //指定返回那些字段内容
    query.setFields("id","product_name","product_price","product_catalog_name","product_picture");
    //指定一个搜索Field
    query.set("df", "product_name");
    //高亮显示
    query.setHighlight(true);
   //高亮显示的域
   query.addHighlightField("product_name");
   //高亮显示的前缀
   query.setHighlightSimplePre("<em>");
   //高亮显示的后缀
   query.setHighlightSimplePost("</em>");
   //执行查询
   QueryResponse queryResponse = solrServer.query(query);
    //得到查询结果
    SolrDocumentList solrDocumentList= queryResponse.getResults();
    //查询到的商品数量
    System.out.println("共查询到商品数量:" + solrDocumentList.getNumFound());     
    for (SolrDocument solrDocument : solrDocumentList) {
        System.out.println(solrDocument.get("id"));
        //取高亮显示
       String productName = "";
       Map<String, Map<String, List<String>>> highlighting = queryResponse.getHighlighting();
       List<String> list = highlighting.get(solrDocument.get("id")).get("product_name");
       //判断是否有高亮内容
       if (null != list) {
           productName = list.get(0);
       } else {
           productName = (String) solrDocument.get("product_name");
       }
       System.out.println(solrDocument.get("productName"));
       System.out.println(solrDocument.get("product_price"));
       System.out.println(solrDocument.get("product_catalog_name"));
       System.out.println(solrDocument.get("product_picture"));
   }
    
}

五、案例实现

原型分析
在这里插入图片描述
系统架构
在这里插入图片描述
具体工程搭建实现如下:

1、创建一个web工程导入jar包

springmvc的相关jar包+solrJ的jar包+Example\lib\ext下的jar包

2、配置xml文件

配置web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" id="WebApp_ID" version="2.5">
  <display-name>jd</display-name>
  <welcome-file-list>
    <welcome-file>index.html</welcome-file>
    <welcome-file>index.htm</welcome-file>
    <welcome-file>index.jsp</welcome-file>
    <welcome-file>default.html</welcome-file>
    <welcome-file>default.htm</welcome-file>
    <welcome-file>default.jsp</welcome-file>
  </welcome-file-list>
  <!-- 前端控制器 -->
  <servlet>
  <servlet-name>jd</servlet-name>
  <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
  <init-param>
          <param-name>contextConfigLocation</param-name>
          <param-value>classpath:springmvc.xml</param-value>
  </init-param>
  </servlet>
  <servlet-mapping>
      <servlet-name>jd</servlet-name>
      <url-pattern>*.action</url-pattern>
  </servlet-mapping>
    <!-- 解决post乱码问题 -->
  <filter>
        <filter-name>CharacterEncodingFilter</filter-name>
        <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
        <init-param>
            <param-name>encoding</param-name>
            <param-value>utf-8</param-value>
        </init-param>
    </filter>
    <filter-mapping>
        <filter-name>CharacterEncodingFilter</filter-name>
        <url-pattern>/*</url-pattern>
    </filter-mapping>
</web-app>

配置springmvc.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:p="http://www.springframework.org/schema/p"
    xmlns:context="http://www.springframework.org/schema/context"
    xmlns:mvc="http://www.springframework.org/schema/mvc"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
        http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc-4.0.xsd
        http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd">
        
    <context:component-scan base-package="com.it.jd"/>
    <!-- 配置注解驱动,如果配置此标签可以不用配置处理器映射器和适配器 -->
    <mvc:annotation-driven/>
    <!-- 配置视图解析器 -->
    <bean class="org.springframework.web.servlet.view.InternalResourceViewResolver">
        <property name="prefix" value="/WEB-INF/jsp/"/>
        <property name="suffix" value=".jsp"/>
    </bean>
    <!-- SolrServer的配置 -->
    <bean id="httpSolrServer" class="org.apache.solr.client.solrj.impl.HttpSolrServer">
        <constructor-arg index="0" value="http://localhost:8090/solr"/>
    </bean>
</beans>

3、导入jsp页面和css

4、具体代码实现

pojo代码

package com.it.jd.pojo;

public class ProductModel {
    // 商品编号
    private String pid;
    // 商品名称
    private String name;
    // 商品分类名称
    private String catalog_name;
    // 价格
    private float price;
    // 商品描述
    private String description;
// 图片名称
   private String picture;
public String getPid() { return pid; } public void setPid(String pid) { this.pid = pid; } public String getName() { return name; } public void setName(String name) { this.name = name; } public String getCatalog_name() { return catalog_name; } public void setCatalog_name(String catalog_name) { this.catalog_name = catalog_name; } public float getPrice() { return price; } public void setPrice(float price) { this.price = price; } public String getDescription() { return description; } public void setDescription(String description) { this.description = description; } public String getPicture() { return picture; } public void setPicture(String picture) { this.picture = picture; } }

Dao代码

package com.it.jd.dao;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrServer;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.SolrQuery.ORDER;
import org.apache.solr.client.solrj.impl.HttpSolrServer;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrDocumentList;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Repository;

import com.it.jd.pojo.ProductModel;

@Repository
public class jdDaoImpl implements jdDao {

    @Autowired
    private SolrServer solrServer;
    
    @Override
    public List<ProductModel> selectProductModelListByQuery(String queryString, String catalog_name, String price,
            String sort) throws Exception {
         //创建一个query对象
         SolrQuery query = new SolrQuery();
         //设置查询条件
         query.setQuery(queryString);
         //过滤条件
         if(catalog_name!=null&&!"".equals(catalog_name))
         query.set("fq","product_catalog_name:"+catalog_name);
         if(null != price && !"".equals(price)){
            //0-9   50-*
            String[] p = price.split("-");
            query.set("fq", "product_price:[" + p[0] + " TO " + p[1] + "]");
        }
         //排序
         if("1".equals(sort))
         query.addSort("product_price",ORDER.desc);
         else
         query.addSort("product_price",ORDER.asc);
         //分页
         query.setStart(0);
         query.setRows(10);
         //指定返回那些字段内容
         query.set("fl","id","product_name","product_price","product_picture");
         //指定一个搜索Field
         query.set("df", "product_name");
         //高亮显示
         query.setHighlight(true);
        //高亮显示的域
        query.addHighlightField("product_name");
        //高亮显示的前缀
        query.setHighlightSimplePre("<span style='color:red'>");
        //高亮显示的后缀
        query.setHighlightSimplePost("</span>");
        //执行查询
        QueryResponse queryResponse = solrServer.query(query);
         //得到查询结果
         SolrDocumentList solrDocumentList= queryResponse.getResults();
         //查询到的商品数量
         //System.out.println("共查询到商品数量:" + solrDocumentList.getNumFound());     
         Map<String, Map<String, List<String>>> highlighting = queryResponse.getHighlighting();
         List<ProductModel> productModels = new ArrayList<ProductModel>();
         for (SolrDocument doc : solrDocumentList) {
             ProductModel pm=new ProductModel();
             pm.setPid((String) doc.get("id"));
             pm.setPrice((Float) doc.get("product_price"));
            pm.setPicture((String) doc.get("product_picture"));
            Map<String, List<String>> map = highlighting.get((String) doc.get("id"));
            List<String> list = map.get("product_name");
            
            pm.setName(list.get(0));
            productModels.add(pm);
        }
        return productModels;
    }

}

Service代码

package com.it.jd.service;

import java.util.List;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import com.it.jd.dao.jdDao;
import com.it.jd.pojo.ProductModel;

@Service
public class jdServiceImpl implements jdService {

    @Autowired
    private jdDao dao;
    @Override
    public List<ProductModel> selectProductModelListByQuery(String queryString, String catalog_name, String price,
            String sort) throws Exception {
        return dao.selectProductModelListByQuery(queryString, catalog_name, price, sort);
    }

}

Controller代码

package com.it.jd.controller;

import java.util.List;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.ui.Model;
import org.springframework.web.bind.annotation.RequestMapping;

import com.it.jd.pojo.ProductModel;
import com.it.jd.service.jdService;

@Controller
public class jdController {
    @Autowired
    private jdService jdService;
    
    @RequestMapping("list.action")
    public String list(String queryString,String catalog_name,String price,
            String sort,Model model) throws Exception{
        List<ProductModel> productModels = jdService.selectProductModelListByQuery(queryString, catalog_name, price, sort);
        model.addAttribute("productModels", productModels);
        model.addAttribute("queryString", queryString);
        model.addAttribute("catalog_name", catalog_name);
        model.addAttribute("price", price);
        model.addAttribute("sort", sort);
        return "product_list";
        
    }
}
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
大数据开发工程师的岗位职责全文共4页,当前为第1页。大数据开发工程师的岗位职责全文共4页,当前为第1页。大数据开发工程师的岗位职责 大数据开发工程师的岗位职责全文共4页,当前为第1页。 大数据开发工程师的岗位职责全文共4页,当前为第1页。 大数据开发工程师负责该领域的业务需求讨论,完成技术方案及数据开发。下面是店铺整理的大数据开发工程师的岗位职责。 大数据开发工程师的岗位职责1 职责: 1、负责所分管团队的团队建设和日常管理工作; 2、负责核心技术问题攻关和性能优化,持续维护和引进最新的大数据技术到城市大数据平台中,支撑城市级大数据平台业务; 3、承担城市数据标准编制和数据模型的设计; 4、承担项目中数据相关方案设计及数据团队管理; 5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。 任职资格: 1、1年以上数据开发工作经验,熟练使用SQL查询引擎; 2、熟悉Hadoop、Mpp、Oracle等至少一种数据仓库工具 3、具备良好的编程语言基础如:java/python/scala/c++/shell等 4、二本以上学历,计算机相关专业或者有相关培训经历者优先 5、 个人素质要求:目光长远、态度诚恳、岗位有稳定性,能够长期培养、具备很强的自学能力、承压能力强、接受出差支援项目等工作。对数据工作具备浓厚的兴趣并有明确职业规划,优秀的学习能力和团队沟通协作能力,对新技术有浓厚兴趣并有钻研精神。 大数据开发工程师的岗位职责2 职责: 1、依据客户需求完成大数据项目的数据分析及建模; 2、进行大数据核心算法的编写; 3、参与项目的需求分析、系统设计、编码工作; 4、参与开发过程中相关新技术的研究和验证。 5.协助承担架构性的体系设计和改造工作,配合制定技术实施方大数据开发工程师的岗位职责全文共4页,当前为第2页。大数据开发工程师的岗位职责全文共4页,当前为第2页。案,按照总体设计组织子系统的设计和开发。 大数据开发工程师的岗位职责全文共4页,当前为第2页。 大数据开发工程师的岗位职责全文共4页,当前为第2页。 任职要求: 1、精通数据建模、数据体系建设,具备数据仓库架构设计、模型设计和处理性能调优等相关经验; 2、具有丰富的基于hadoop体系的数据平台、数据仓库建设经验,精通基于hadoop源码的开发、优化改造及成功应用案例; 3、精通hadoop生态体系各项技术,如kafka、flume、hive、impala、hbase、spark等,具有100+节点hadoop集群的开发、运维经验; 4、具有对大型hadoop集群的硬件规划能力; 大数据开发工程师的岗位职责3 职责 1、负责基于hadoop/spark生态系统、亿级别数据的全文检索搜索引擎的产品研发; 2、基于海量用户行为数据和其他数据,分析和研究数据与实际业务的关联关系,并与实际业务应用相结合开发; 3、负责大数据分析需求设计和开发,承担数据抽取、清洗、转化等数据处理程序开发。 任职要求: 1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技术及其生态圈,具备相关项目开发经验,有数据实时计算项目经验优先; 2、有搜索引擎全文检索开发经验 ,如:elasticsearch、solr; 3、熟悉python、R任意一门开发语言; 4、有SAAS,PAAS企业级应用平台或者互联网,金融等大型应用平台开发经验优先考虑; 5、 本科及以上学历,计算机/软件工程/统计学/数学等相关专业,互联网/金融等行业3年以上工作经验; 6、拥有良好的代码习惯,要求结构清晰、命名规范、逻辑性强、代码冗余率低,代码注释清晰; 大数据开发工程师的岗位职责全文共4页,当前为第3页。大数据开发工程师的岗位职责全文共4页,当前为第3页。7、熟悉使用svn,禅道等项目管理工具,有良好的团队协作开发经验. 大数据开发工程师的岗位职责全文共4页,当前为第3页。 大数据开发工程师的岗位职责全文共4页,当前为第3页。 大数据开发工程师的岗位职责4 职责: 1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的设计和开发; 2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发; 3、大数据平台各类数据业务抽象及模型化; 4、参与大数据管理平台的开发及维护; 5、负责大数据平台数据及相关的应用开发,调优及维护; 6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题; 7、良好的团队合作与沟通能力。 任职要求: 1、本科及以上学历,2年以上大数据应用开发经验; 2、具备Java、Python、Scala其中两种语言的开发经验; 3、了解泛Hadoop大数据生态圈,熟悉HDFS/Hive/Flink/Hbas
【7A文】服务器性能计算全文共6页,当前为第1页。【7A文】服务器性能计算全文共6页,当前为第1页。 【7A文】服务器性能计算全文共6页,当前为第1页。 【7A文】服务器性能计算全文共6页,当前为第1页。 概述 GGGGG项目采用集中式部署(即所有的数据集中部署在总部服务器中),对于完成各功能服务器的性能,我们建议采用主流的TPC值进行性能估算。 TPC-C是一种旨在衡量联机事务处理(OLTP,又称业务处理系统系统性能与可伸缩性的行业标准基准测试项目。 tpmC((TransactionPerMinute):TPC-C每分钟的吞吐量,按有效TPC-C配置期间每分钟处理的平均交易次数测量,至少要运行12分钟。 服务器从处理能力上来讲,最重要的指标是业务处理过程中所需要的并行处理能力,这一指标通常都是通过衡量主机的tpmC值取得;其它对主机硬件性能上的需求还包括内存大小,以及对外连接的数据线路带宽。在计算主机所需要的tpmC、硬盘及带宽时,直接影响这些计算结果的因素包括:用户的业务模型(也可以用一定收敛比来表示)、所开展的业务种类、所开展业务的并行应用需求。这种基准测试项目将对包括查询、更新及队列式小批量事务在内的广泛数据库功能进行测试,因此对于数据库密集型应用来说,TPC-C被许多IT部门视为衡量真实OLTP系统性能的有效指示器。 接口服务器性能计算 接口服务器在GGGGG系统中起到承上启下的作用,与OA、门户等其他业务系统的数据交互都需要通过标准接口完成,因此接口服务器的性能及稳定性也是至关重要的。 【7A文】服务器性能计算全文共6页,当前为第2页。【7A文】服务器性能计算全文共6页,当前为第2页。GGGGG系统的接口服务器使用Tomcat搭建,根据经验单服务器上的Tomcat的整体理论处理能力1000-20XX个用户并发连接。考虑到系统操作系统CPU使用率为10%,因此系统整体负载不能高于70%。 【7A文】服务器性能计算全文共6页,当前为第2页。 【7A文】服务器性能计算全文共6页,当前为第2页。 根据tpmC标准是根据标准模型中New-Order事物的处理数目来计算的,一个New-Order事物由平均4-5个SQL语句处理完成,整个测试执行过程中New-Order处理占45%。 为了方便计算接口服务器的性能,我们约定: 1)系统注册用户数为20XX00人(U1); 2)忙时集中并发系数为10%(B1); 3)接口服务对应的操作数为14.8(T1); 4)考虑服务器保留30%的冗余(R); 5)本次测试New-Order事物占全部的35%(Ty); 6)本次测试New-Order事物执行4个SQL(Ts); 7)一天内忙时的处理量为平均值的8倍(B2)。 8)每个交易折算标准交易系数,根据之前的项目经验系数为1.6; 接口服务器处理能力为: TPC-C=(U1GB1G(T1GTy/Ts))/(1-R)GB2G经验系数=20XX00G0.1G(14.8G0.45/4)G8G1.6/(1-30%)=608,914.28tpmC 根据业务规模和计算结果,建议接口服务器部署2台互为备份,单台配置4核CPU及16G内存。 GGG业务服务器性能计算 GGG业务服务器作为GGGGG项目最基本的处理单元,同时部署业务层、服务层和部分第三方软件,为保证系统的稳定和高效,因此GGG业务服务器必须进行负载均衡。 【7A文】服务器性能计算全文共6页,当前为第3页。【7A文】服务器性能计算全文共6页,当前为第3页。GGGGG系统的GGG业务服务器,是使用ApacheHTTP搭建的Web服务,负责承载所有用户请求,性能的高低直接决定整个系统的效率。 【7A文】服务器性能计算全文共6页,当前为第3页。 【7A文】服务器性能计算全文共6页,当前为第3页。 为了方便计算GGG业务服务器的性能,我们约定: 1)系统注册用户数为20XX00人(U1); 2)忙时集中并发系数为10%(B1); 3)最常用业务每次业务请求对应的操作数为10.7(T1); 4)一天内忙时的处理量为平均值的8倍(B2); 5)考虑服务器保留30%的冗余(R); GGG业务服务器处理能力为: TPC-C=(U1GB1GT1GB2)/(1-R)=(20XX00G0.1G10.7G8)/(1-30%)=2,445,714.29tpmC 根据业务规模和计算结果,建议GGG业务服务器部署4台,通过负载均衡设备进行访问,单台配置8核CPU及32G内存。 GGG业务检索服务器性能计算 GGG业务检索服务器使用Solr搜索引擎为GGGGG系统提供索引存储和检索的服务,一般情况下档案查询量要远大于浏览和下载电子文件数量,因此压力相对较大。 Solr搜索引擎是一个高性能,采用Java5开发,基于Lu
Solr是一个现成的全文检索引擎系统,可以通过将其放入Tomcat下来独立运行。通过使用SolrJ来调用Solr服务,企业可以实现对索引和文档的增删改查服务。将数据库中的数据导入Solr索引库,并且可以通过Solr后台管理界面对索引进行CRUD、高亮、过滤、排序和分页等操作。使用Solrj可以实现索引的添加、更新和删除操作。SolrLucene的区别在于,Lucene是一个全文检索引擎工具包,而Solr是基于Lucene开发的一个全文检索引擎系统,可以独立运行并通过HTTP形式提供全文检索服务。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [全文检索技术—Solr](https://blog.csdn.net/chuan129/article/details/80099292)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [Lucene全文检索框架+Solr+ElasticSearch搜索引擎(Java高级必备.ES)](https://download.csdn.net/download/weixin_27064205/19677591)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员Forlan

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值