solr集群与项目实战

什么是 SolrCloud

SolrCloud(solr 云)是 Solr 提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud 的,当索引量很大,搜索请求并发很高,这时需要使用 SolrCloud 来满足这些需求。

SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方案,它的主要思想是使用Zookeeper 作为集群的配置信息中心。

它有几个特色功能:

1)集中式的配置信息

2)自动容错

3)近实时搜索

4)查询时自动负载均衡

 

 Solr 集群结构图

 

Solr 集群搭建设计:

 

安装 Solr 集群环境

需求:

1) 在 192.168.70.147 环境中安装 zookeeper 集群(已安装)

2) 创建 4 tomcat 实例,修改其端口为 8080-8083

3) 使用已安装好的单机版 solr 作为集群的节点使用

 

创建 solrcloud 目录

mkdir solrcloud

安装 Zookeeper 集群

安装 4 tomcat 实例并将 tomcat 与索引库拷贝到 solrCloud目录中

修改 tomcat 端口

修改 solr 服务中指向 solr 索引库的路径

创建集群

上传索引库配置文件

把 solrhome 中的配置文件上传到 zookeeper 集群。使用 zookeeper 的客户端上传

./zkcli.sh -zkhost 192.168.70.147:2181, 192.168.70.147:2182, 192.168.70.147:2183 -cmd upconfig -confdir /usr/local/solrcloud/solrhome1/solr/collection1/conf -confname myconf

 

修改 solrhome 下的 solr.xml 文件,指定当前实例运行的 ip地址及端口号。

 

修改每一台 solr tomcat bin 目录下 catalina.sh 文件中加入 DzkHost 指定 zookeeper 服务器地址

JAVA_OPTS="-DzkHost=192.168.70.147:2181,192.168.70.147:2182,192.168.70.147:2183"

 

 

创建新的逻辑索引库并分片:

创建一个新的 collection,并分两片,每片是一主一备。

使用以下命令创建:

http://192.168.70.147:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

 

删除原来的逻辑索引库:

http://192.168.70.147:8080/solr/admin/collections?action=DELETE&name=collection1

 

 

 

测试 SolrJ 操作 Solr 集群

在集群中添加文档

/**
* 向集群的索引库中添加文档
*/
public static void solrCloudInsert()throws Exception{
    //zookeeper 地址
    String zkHost = "192.168.70.147:2181,192.168.70.147:2182,192.168.70.147:2183";
    //创建 solrCloud 对象
    CloudSolrServer cloud = new CloudSolrServer(zkHost);
    //给定索引库
    cloud.setDefaultCollection("collection2");
    //创建 solr 文档对象
    SolrInputDocument docu = new SolrInputDocument();
    docu.addField("id", "OldLu");
    docu.addField("item_title", "老好了");
    docu.addField("item_price",1000);
    cloud.add(docu);
    cloud.commit();
    cloud.shutdown();
}

 

删除集群中的文档

public static void solrClouddel() throws IOException, SolrServerException {
        //zookeeper地址
        String zook="192.168.181.126:2181,192.168.181.126:2182,192.168.181.126:2183";
        //创建CloudSolrServer对象
        CloudSolrServer css=new CloudSolrServer(zook);
        //给定索引库
        css.setDefaultCollection("collection2");
        css.deleteByQuery("*:*");
        //提交
        css.commit();
        //关闭
        css.shutdown();

    }

 

查询集群中的文档:

public static void solrCloudsel() throws IOException, SolrServerException {
        //zookeeper地址
        String zook="192.168.181.126:2181,192.168.181.126:2182,192.168.181.126:2183";
        //创建CloudSolrServer对象
        CloudSolrServer css=new CloudSolrServer(zook);
        //给定索引库
        css.setDefaultCollection("collection2");
        SolrQuery sq=new SolrQuery();
        sq.setQuery("nice");
        sq.set("df","item_keywords");
        sq.setStart(0);
        sq.setRows(15);

        QueryResponse query = css.query(sq);
        SolrDocumentList resultsList = query.getResults();
        System.out.println("总条数:"+resultsList.getNumFound());
        for (SolrDocument sd:resultsList){
            System.out.println(sd.get("item_title"));
            System.out.println(sd.get("item_price"));
        }

        //提交
        css.commit();
        //关闭
        css.shutdown();

    }

 

Solr 实战案例

案例需求:

1) 使用技术 springMVC+Spring+Mybatis+solrJ

2) 将 mysql 中的 tb_item 表中的部分业务数据导入到 solr 的索引库中

3) 提供一个搜索页面,在搜索页面中完成数据搜索

 

创建实战项目:

 

主要的service层和dao层:

com.bjsxt.service.impl.SearchItemServiceImpl:

package com.bjsxt.service.impl;

import com.bjsxt.dao.SolDao;
import com.bjsxt.pojo.PageResult;
import com.bjsxt.service.SearchItemService;
import org.apache.solr.client.solrj.SolrQuery;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

@Service
public class SearchItemServiceImpl implements SearchItemService {

    @Autowired
    SolDao solDao;

    @Override
    public PageResult searchItem(String query, Integer page, Integer rows) throws Exception {

        //创建查询条件
        SolrQuery solrQuery=new SolrQuery();
        //添加查询条件
        solrQuery.setQuery(query);
        //设置默认域
        solrQuery.set("df","item_keywords");
        //设置分页
        solrQuery.setStart((page-1)*rows);
        solrQuery.setRows(rows);

        //设置高亮
        solrQuery.setHighlight(true);
        solrQuery.addHighlightField("item_title");
        //设置高亮样式
        solrQuery.setHighlightSimplePre("<em style='color:red;'>");
        solrQuery.setHighlightSimplePost("</em>");

        //调用solDao
        PageResult result = solDao.searchItem(solrQuery);
        result.setPageIndex(page);
        //总页数
        Long total=result.getTotalNum()/rows;
        if (result.getTotalNum()%rows>0){
            total++;
        }
        result.setTotalPage(total);
        return result;
    }
}

 

com.bjsxt.service.impl.TbItemServiceImpl:

package com.bjsxt.service.impl;

import com.bjsxt.mapper.TbItemMapper;
import com.bjsxt.pojo.TbItem;
import com.bjsxt.service.TbItemService;
import org.apache.solr.client.solrj.impl.CloudSolrServer;
import org.apache.solr.common.SolrInputDocument;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.ArrayList;
import java.util.List;

@Service
public class TbItemServiceImpl implements TbItemService {

    @Autowired
    TbItemMapper mapper;

    @Autowired
    CloudSolrServer cloudSolrServer;
    @Override
    public void findall() {
        try {

        List<TbItem> list = mapper.findall();
        List<SolrInputDocument> result=new ArrayList<>();
        for (TbItem item:list ){
            SolrInputDocument docu = new SolrInputDocument();
            docu.setField("id", item.getId()+"");
            docu.setField("item_title", item.getTitle());
            docu.setField("item_sell_point", item.getSell_Point());
            docu.setField("item_price", item.getPrice());
            docu.setField("item_image", item.getImage());
            result.add(docu);
        }
        cloudSolrServer.add(result);
        cloudSolrServer.commit();
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}

 

com.bjsxt.dao.impl.SolDaoImpl:

package com.bjsxt.dao.impl;

import com.bjsxt.dao.SolDao;
import com.bjsxt.pojo.PageResult;
import com.bjsxt.pojo.TbItem;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.impl.CloudSolrServer;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrDocumentList;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Repository;

import java.util.ArrayList;
import java.util.List;
import java.util.Map;
@Repository
public class SolDaoImpl implements SolDao {

    @Autowired
    CloudSolrServer cloudSolrServer;

    @Override
    public PageResult searchItem(SolrQuery solrQuery) throws Exception {
        QueryResponse res = cloudSolrServer.query(solrQuery);
        SolrDocumentList list = res.getResults();

        //处理结果集
        PageResult pag=new PageResult();
        //总条数
        pag.setTotalNum(list.getNumFound());
        List<TbItem> items=new ArrayList<>();
        //获取高亮信息
        Map<String, Map<String,List<String>>> hl=res.getHighlighting();

        //模型转换
        for (SolrDocument var:list){
            TbItem item=new TbItem();
            item.setId(Long.parseLong((String) var.get("id")));
            item.setImage((String)var.get("item_image"));
            item.setSell_Point((String)var.get("item_sell_point"));
            item.setPrice((Long)var.get("item_price"));
            List<String> h = hl.get(var.get("id")).get("item_title");
            String  title="";
            if (h!=null&&h.size()>0){
                title=h.get((0));
            }else {
                title=(String)var.get("item_title");
            }
            item.setTitle(title);
            items.add(item);
        }
        pag.setResult(items);
        return pag;
    }
}

 

parent的pom:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.bjsxt</groupId>
    <artifactId>parent</artifactId>
    <packaging>pom</packaging>
    <version>1.0-SNAPSHOT</version>
    <modules>
        <module>solrJDemo2</module>
    </modules>

    <!-- 对依赖的jar包的版本统一进行定义 -->
    <properties>
        <solrj.version>4.10.3</solrj.version>
        <jedis.version>2.9.0</jedis.version>
        <junit.version>4.12</junit.version>
        <spring.version>4.1.3.RELEASE</spring.version>
        <mybatis.version>3.2.8</mybatis.version>
        <mybatis.spring.version>1.2.2</mybatis.spring.version>
        <mysql.version>5.1.32</mysql.version>
        <slf4j.version>1.6.4</slf4j.version>
        <druid.version>1.0.9</druid.version>
        <jstl.version>1.2</jstl.version>
        <servlet-api.version>2.5</servlet-api.version>
        <tomcat.version>2.2</tomcat.version>
        <jsp-api.version>2.0</jsp-api.version>
        <zkClient-version>0.10</zkClient-version>
        <dubbo-version>2.5.4</dubbo-version>
        <jackson.version>2.4.2</jackson.version>
        <commons-net.version>3.3</commons-net.version>
        <commons-fileupload.version>1.3.1</commons-fileupload.version>
    </properties>


    <!-- jar包的依赖注入 ,由于该工程是一个父工程,所以jar包在该pom文件中只是声明 -->
    <dependencyManagement>
        <dependencies>

            <dependency>
                <groupId>org.apache.solr</groupId>
                <artifactId>solr-solrj</artifactId>
                <version>${solrj.version}</version>
            </dependency>
            <dependency>
                <groupId>redis.clients</groupId>
                <artifactId>jedis</artifactId>
                <version>${jedis.version}</version>
            </dependency>
            <!-- 单元测试 -->
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>${junit.version}</version>
            </dependency>
            <!-- 日志处理 -->
            <dependency>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
                <version>${slf4j.version}</version>
            </dependency>
            <!-- Mybatis -->
            <dependency>
                <groupId>org.mybatis</groupId>
                <artifactId>mybatis</artifactId>
                <version>${mybatis.version}</version>
            </dependency>
            <dependency>
                <groupId>org.mybatis</groupId>
                <artifactId>mybatis-spring</artifactId>
                <version>${mybatis.spring.version}</version>
            </dependency>
            <!-- MySql -->
            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>${mysql.version}</version>
            </dependency>
            <!-- 连接池 -->
            <dependency>
                <groupId>com.alibaba</groupId>
                <artifactId>druid</artifactId>
                <version>${druid.version}</version>
            </dependency>
            <!-- Spring -->
            <dependency>
                <groupId>org.springframework</groupId>
                <artifactId>spring-context</artifactId>
                <version>${spring.version}</version>
            </dependency>
            <dependency>
                <groupId>org.springframework</groupId>
                <artifactId>spring-beans</artifactId>
                <version>${spring.version}</version>
            </dependency>
            <dependency>
                <groupId>org.springframework</groupId>
                <artifactId>spring-webmvc</artifactId>
                <version>${spring.version}</version>
            </dependency>
            <dependency>
                <groupId>org.springframework</groupId>
                <artifactId>spring-jdbc</artifactId>
                <version>${spring.version}</version>
            </dependency>
            <dependency>
                <groupId>org.springframework</groupId>
                <artifactId>spring-aspects</artifactId>
                <version>${spring.version}</version>
            </dependency>
            <!-- JSP相关 -->
            <dependency>
                <groupId>jstl</groupId>
                <artifactId>jstl</artifactId>
                <version>${jstl.version}</version>
            </dependency>
            <dependency>
                <groupId>javax.servlet</groupId>
                <artifactId>servlet-api</artifactId>
                <version>${servlet-api.version}</version>
                <scope>provided</scope>
            </dependency>
            <dependency>
                <groupId>javax.servlet</groupId>
                <artifactId>jsp-api</artifactId>
                <version>${jsp-api.version}</version>
                <scope>provided</scope>
            </dependency>
            <!-- 文件上传组件 -->
            <dependency>
                <groupId>commons-fileupload</groupId>
                <artifactId>commons-fileupload</artifactId>
                <version>${commons-fileupload.version}</version>
            </dependency>

            <dependency>
                <groupId>commons-net</groupId>
                <artifactId>commons-net</artifactId>
                <version>${commons-net.version}</version>
            </dependency>

            <!-- Jackson Json处理工具包 -->
            <dependency>
                <groupId>com.fasterxml.jackson.core</groupId>
                <artifactId>jackson-databind</artifactId>
                <version>${jackson.version}</version>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <build>
        <resources>
            <resource>
                <directory>src/main/java</directory>
                <includes>
                    <include>**/*.xml</include>
                </includes>
            </resource>
            <resource>
                <directory>src/main/resources</directory>
                <includes>
                    <include>**/*.xml</include>
                    <include>**/*.properties</include>
                </includes>
            </resource>
        </resources>
        <!-- tomcat插件,由于子项目不一定每个都是web项目,所以该插件只是声明,并未开启 -->
        <pluginManagement>
            <plugins>
                <!-- 配置Tomcat插件 -->
                <plugin>
                    <groupId>org.apache.tomcat.maven</groupId>
                    <artifactId>tomcat7-maven-plugin</artifactId>
                    <version>${tomcat.version}</version>
                </plugin>
            </plugins>
        </pluginManagement>
    </build>
</project>

 

测试代码的pom:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <parent>
        <artifactId>parent</artifactId>
        <groupId>com.bjsxt</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <packaging>war</packaging>
    <artifactId>solrJDemo2</artifactId>

    <dependencies>
        <dependency>
            <groupId>org.apache.solr</groupId>
            <artifactId>solr-solrj</artifactId>
        </dependency>
        <!-- 单元测试 -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
        </dependency>
        <!-- 日志处理 -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
        </dependency>
        <!-- Mybatis -->
        <dependency>
            <groupId>org.mybatis</groupId>
            <artifactId>mybatis</artifactId>
        </dependency>
        <dependency>
            <groupId>org.mybatis</groupId>
            <artifactId>mybatis-spring</artifactId>
        </dependency>
        <!-- MySql -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>
        <!-- 连接池 -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid</artifactId>
        </dependency>
        <!-- Spring -->
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-context</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-beans</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-webmvc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework</groupId>
            <artifactId>spring-aspects</artifactId>
        </dependency>
        <!-- JSP相关 -->
        <dependency>
            <groupId>jstl</groupId>
            <artifactId>jstl</artifactId>
        </dependency>
        <dependency>
            <groupId>javax.servlet</groupId>
            <artifactId>servlet-api</artifactId>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>javax.servlet</groupId>
            <artifactId>jsp-api</artifactId>
            <scope>provided</scope>
        </dependency>
    </dependencies>

    <build>
        <resources>
            <resource>
                <directory>src/main/java</directory>
                <includes>
                    <include>**/*.xml</include>
                </includes>
            </resource>
            <resource>
                <directory>src/main/resources</directory>
                <includes>
                    <include>**/*.xml</include>
                    <include>**/*.properties</include>
                </includes>
            </resource>
        </resources>
        <!-- tomcat插件,由于子项目不一定每个都是web项目,所以该插件只是声明,并未开启 -->
        <plugins>
            <!-- 配置Tomcat插件 -->
            <plugin>
                <groupId>org.apache.tomcat.maven</groupId>
                <artifactId>tomcat7-maven-plugin</artifactId>
                <configuration>
                    <path>/</path>
                    <port>8080</port>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
    本课程全程使用目前比较流行的开发工具idea进行开发,涉及到目前互联网项目中最常用的高并发解决方案技术, 如dubbo,redis,solr,freemarker,activeMQ,springBoot框架,微信支付,nginx负载均衡,电商活动秒杀,springSecurity安全框架,FastDFS分布式文件服务器,还会涉及到代码生成器,   前台的技术有angularJS和BootStrap框架,此课程内容丰富实战性强,如果你还是传统项目的开发人员,那你学完本课程会有很大的收获,让你的薪资上涨,5K以上,让你完全感受到了互联网思维带来的高 并发解决方案的思路,如果你是开发的小白,建议你学完Spring,SpringMVC,MyBatis框架后再来学习本门课程,学完以后会让你完全体验到企业级开发的流程.在职开发人员学完后会让你的薪资更高,让你更了解互联网是如何解决高并发 学完SSM框架的同学就可以学习,能让你切身感受到企业级开发环境目标1:完成solr环境安装、中文分析器和业务域的配置目标2:会使用Spring Data Solr完成增删改查操作目标3:完成批量数据导入功能目标4:完成按关键字搜索功能目标5:实现考拉易购搜索结果高亮显示功能目标6:说出考拉易购搜索的业务规则和实现思路目标7:完成查询分类列表的功能目标8:完成缓存品牌和规格数据的功能目标9:完成显示品牌和规格数据的功能目标10:完成过滤条件构建的功能目标11:完成过滤查询的功能目标11:实现考拉易购价格区间筛选功能目标12:实现搜索结果分页功能目标13:理解多关键字搜索目标14:实现搜索结果排序功能目标15:实现隐藏品牌列表功能目标16:实现搜索页与首页对接功能目标17:完成更新索引库的功能

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值