ElasticSearch与Solr对比

最新推荐文章于 2024-04-14 00:10:44 发布
最新推荐文章于 2024-04-14 00:10:44 发布
阅读量204 收藏
点赞数
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c410425783/article/details/120666116
版权

Elasticsearch Solr 分词器 SpringBoot集成 性能对比
关键词由CSDN通过智能技术生成

环境说明

操作系统：windows10

安装、配置

ElasticSearch

第一步：下载

下载：官网下载地址

第二步：解压运行

解压zip 并进入bin目录下 双击elasticsearch.bat 运行

第三步：查看是否运行成功

访问 http://localhost:9200/

地址
请添加图片描述

出现该界面说明运行成功

无需其他配置 其余可以在springboot集成时进行相应操作

第四步：ik分词器

下载对应版本的ik分词器包后 在es安装目录\plugins下新建ik文件夹 将下载好的ik zip包解压到该目录下

分词效果 其中 ik_smart 为最少切分，ik_max_word为最细粒度划分

ik_smart : 将一个中文字符串进行最少的单词切分:

ik_max_word : 将一个中文字符串进行尽可能多的单词切分:

请添加图片描述

第五步：创建索引并指定默认分词

请添加图片描述

{"settings":{"index":{"analysis.analyzer.default.type":"ik_max_word"}}}

Solr

第一步：下载

官网下载地址

第二步：解压运行

解压后运行cmd进入bin目录执行 solr start命令 （solr restart -p 8983重启命令）

请添加图片描述

第三步：查看是否运行成功

浏览器进入 http://localhost:8983/solr

地址

请添加图片描述

第四步：创建core（可以理解为数据库）

solr create -c “core名称”

第五步：注册字段


进入G:\solr\solr-8.9.0\server\solr\demo-core\conf

demo-core 为创建的core名称

进行字段配置

  <field name="cityCode" type="string" indexed="true" stored="true"/>
	<field name="code" type="string" indexed="true" stored="true"/>
	<field name="firstChar" type="string" indexed="true" stored="true"/>
	<field name="jianPin" type="string" indexed="true" stored="true"/>
	...

第六步：配置IK分词器


下载地址

将下载好的jar包放入\server\solr-webapp\webapp\WEB-INF\lib 下

然后配置managed-schema中添加ik分词器的配置(\server\solr\demo-core\conf)

<fieldType name="ik_word" class="solr.TextField">
  <analyzer type="index">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
  <analyzer type="query">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

将字段配置中的type改为 ik_word

  <field name="cityCode" type="string" indexed="true" stored="true"/>
	<field name="code" type="string" indexed="true" stored="true"/>
	<field name="firstChar" type="string" indexed="true" stored="true"/>
	<field name="jianPin" type="string" indexed="true" stored="true"/>
	<field name="mergerName" type="ik_word" />
	...

测试

请添加图片描述


springboot 集成

ElasticSearch

第一步：引入maven包

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    <version>2.5.4</version>
</dependency>

第二步：配置客户端对象

@Configuration
public class ElasticSearchConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient() {
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("localhost", 9200, "http")));
        return client;
    }
}

第三步：使用客户对象进行操作

官方api文档

package com.southsmart.demo.elasticsearch.controller;

import cn.hutool.core.bean.BeanUtil;
import cn.hutool.json.JSON;
import cn.hutool.json.JSONUtil;
import com.baomidou.mybatisplus.core.conditions.query.LambdaQueryWrapper;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.southsmart.demo.elasticsearch.config.ElasticSearchConfig;
import com.southsmart.demo.elasticsearch.mapper.CityMapper;
import com.southsmart.demo.elasticsearch.model.dto.CityDTO;
import com.southsmart.demo.elasticsearch.model.po.CityPO;
import com.southsmart.web.common.result.Result;
import lombok.RequiredArgsConstructor;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.CreateIndexRequest;
import org.elasticsearch.client.indices.CreateIndexResponse;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.*;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.web.bind.annotation.*;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;

/**
 * @author clm
 * @version 1.0
 * @since 2021/9/8
 */
@RestController
@RequestMapping("cityEs")
@RequiredArgsConstructor
public class CityEsController {
    @Autowired
    private RestHighLevelClient restHighLevelClient;

    @Autowired
    private CityMapper cityMapper;

    /**
     * 添加数据
     * @param indexName
     * @return
     * @throws IOException
     */
    @GetMapping("addCityData/{indexName}")
    public Result addCityData(@PathVariable String indexName) throws IOException {
        List<CityPO> cityList= cityMapper.selectList(new LambdaQueryWrapper<>());
        BulkRequest bulkRequest=new BulkRequest();
        bulkRequest.timeout(TimeValue.timeValueSeconds(10));
        for (int i = 0; i < cityList.size(); i++) {
            CityDTO dto= BeanUtil.copyProperties(cityList.get(i),CityDTO.class);

            //批量更新和批量删除在这里修改对应的请求即可
            bulkRequest.add(new IndexRequest(indexName)
                    .id(dto.getId()+"")
                    .source(JSONUtil.toJsonStr(dto),XContentType.JSON));
        }
        BulkResponse bulkResponse = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
        return Result.ok("插入成功");
    }

    /**
     * 查询
     * @param indexName
     * @param name
     * @param filedName
     * @param size
     * @return
     * @throws IOException
     */
    @GetMapping("search")
    public Result search(@RequestParam String indexName, @RequestParam String name, @RequestParam String filedName, @RequestParam Integer size) throws IOException {
        SearchRequest searchRequest = new SearchRequest(indexName);
        //构建搜索的条件
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //QueryBuilders.termQuery() 精确匹配
        MultiMatchQueryBuilder termQueryBuilder = QueryBuilders.multiMatchQuery(name,filedName);
        //QueryBuilders.matchAllQuery();
        TermQueryBuilder termQueryBuilder1=QueryBuilders.termQuery(filedName,name);
        sourceBuilder.query(termQueryBuilder1);
        //分页 默认有 可以不写
        sourceBuilder.from(0);
        sourceBuilder.size(size);

        sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
        //构建搜索
        searchRequest.source(sourceBuilder);
        SearchResponse searchResponse = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);
        SearchHits searchHits = searchResponse.getHits();
        List<Map<String, Object>> resultList=new ArrayList<>();
        for (SearchHit documentFields : searchResponse.getHits().getHits()) {
            resultList.add(documentFields.getSourceAsMap());
        }
        return Result.ok(resultList);
    }
}

Solr

第一步：引入maven包

因为maven仓库里面没有该jar包 从外部引用（在工程目录创建lib，将jar包放入其中）

请添加图片描述

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-data-solr</artifactId>
  <version>2.4.9</version>
  <systemPath>${project.basedir}/lib/spring-boot-starter-data-solr-2.4.9.jar</systemPath>
</dependency>

第二步：配置客户端

在application.properties中配置solr地址

spring.data.solr.host=http://localhost:8983/solr/demo-core

然后在项目中直接引入即可

@Autowired
private SolrClient solrClient;

第三步：使用客户对象进行操作

8.9官网api


package com.southsmart.demo.solr.controller;

import cn.hutool.core.bean.BeanUtil;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.southsmart.demo.solr.mapper.CityMapper;
import com.southsmart.demo.solr.model.dto.CityDTO;
import com.southsmart.demo.solr.model.po.CityPO;
import com.southsmart.web.common.result.Result;
import lombok.RequiredArgsConstructor;
import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.common.SolrDocument;
import org.apache.solr.common.SolrInputDocument;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;

import java.awt.print.Book;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;

/**
 * @author clm
 * @version 1.0
 * @since 2021/9/7
 */
@RestController
@RequestMapping("citySolr")
@RequiredArgsConstructor
public class CitySolrController {
    @Autowired
    private SolrClient solrClient;

    @Autowired
    private CityMapper cityMapper;

    /**
     * 刪除或者修改
     * @return
     */
    @PostMapping("addCity")
    public Result add() {
        try {
            List<CityPO> poList=cityMapper.selectList(new QueryWrapper<>());
            List<CityDTO> dtoList=new ArrayList<>();
            for (CityPO cityPO:poList){
                CityDTO cityDTO= BeanUtil.copyProperties(cityPO,CityDTO.class);
                dtoList.add(cityDTO);
            }
            solrClient.addBeans(dtoList);

            solrClient.commit();
        } catch (SolrServerException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return Result.ok();
    }

    /**
     * 根据id查询
     * @param id
     * @return
     * @throws IOException
     * @throws SolrServerException
     */
    @GetMapping("get/{id}")
    public Result get(@PathVariable String id) throws IOException, SolrServerException {
        SolrDocument solrDocument = solrClient.getById(id);
        System.out.println(solrDocument.getFieldNames());
        return Result.ok(solrDocument);
    }


    /**
     * 根据id删除
     * @return
     * @throws IOException
     * @throws SolrServerException
     */
    @GetMapping("delete")
    public Result delete() throws IOException, SolrServerException {
        List<CityPO> poList=cityMapper.selectList(new QueryWrapper<>());
        List<String> ids=poList.stream().map(m->m.getId()).collect(Collectors.toList());
        solrClient.deleteById(ids);
        solrClient.commit();
        return Result.ok();
    }

    /**
     * 查询
     * @param fieldName
     * @param mergerName
     * @param rows
     * @param startRow
     * @return
     * @throws IOException
     * @throws SolrServerException
     */
    @GetMapping("search")
    public Result search(@RequestParam String fieldName ,@RequestParam String mergerName,Integer rows,Integer startRow) throws IOException, SolrServerException {
        SolrQuery solrQuery  = new SolrQuery();
        //solrQuery.setQuery("mergerName:"+mergerName+" or name:"+mergerName);
        solrQuery.setQuery(fieldName+":"+mergerName);
        solrQuery.setRows(rows);
        solrQuery.setStart(startRow);

//        solrQuery.addHighlightField("mergerName");
//        //设置高亮的样式
//        solrQuery.setHighlightSimplePre("<font color='red'>");
//        solrQuery.setHighlightSimplePost("</font>");
//        System.out.println(solrQuery);
        QueryResponse response = solrClient.query(solrQuery);
        return Result.ok(response.getResults());
    }
}

对比

上手难度

1、Solr和Es安装及配置基本都差不多 开箱即用

2、新增、查询等操作也类似

综上 上手难度差不多

性能

请添加图片描述
请添加图片描述

请添加图片描述
请添加图片描述

当单纯的对已有数据进行搜索时，Solr更快。

当实时建立索引时, Solr会产生io阻塞，查询性能较差, Elasticsearch具有明显的优势。

随着数据量的增加，Solr的搜索效率会变得更低，而Elasticsearch却没有明显的变化。

综上所述，Solr的架构不适合实时搜索的应用。


流行度

Es是当今的主流

Es与Solr选型对比文章

Es与Solr选型对比视频

c1m丶
关注
专栏目录
ElasticSearch与Solr：全文搜索引擎的比较
AI天才研究院
05-18 959
1. 背景介绍 1.1 全文搜索引擎的兴起 随着互联网的快速发展，信息量呈爆炸式增长，如何快速、准确地从海量数据中找到所需信息成为一个迫切需求。传统的数据库搜索方式难以满足这种需求，因为它们通常基于精确匹配，无法处理自然语言的模糊性和多样性。 全文搜索引擎应运而生，它们能够理解自然语
Solr 与 Elasticsearch 的对比与选型
01-07
一、Elasticsearch特性 1.1 安装管理方便 Elasticsearch没有其他依赖，下载后安装非常方便；只用修改几个参数就可以搭建起来一个集群。 1.2 大规模分布式 Elasticsearch允许你开始小规模使用，但是随着你使用数据的增长，它可以建立在横向扩展的开箱即用。当你需要更多的容量，只需添加更多的节点，并让集群重组，只需要增加额外的硬件，让集群自动利用额外的硬件。 可以在数以百计的服务器上处理PB级别的数据。 节点对外表现对等（每个节点都可以用来做入口）；加入节点自动均衡，可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 Elasticsearch致力于隐藏
elasticsearch与solr比较
convict_EVA的专栏
12-09 2万+
elasticsearch与solr比较
solr和elasticsearch比较
燕窝
03-09 3280
solr的分布式搜索有个比较纠结的问题是：不会自动负载均衡。不过solr4已经提供简单的自动负载均衡，不知道效果如何，有待生产环境考验。 elasticsearch是一个比较成熟的分布式搜索引擎，配置也很简单。 提供一个elasticsearch大神博客的链接：http://blog.csdn.net/laigood12345/article/category/1113868。
Elasticsearch对比Solr
小汤圆
04-30 143
单纯只对已经存在的数据进行查询的话Solr的查询速度更快。 在实时建立索引方面，Solr由于会产生IO阻塞，所以其查询性能较差。Elasticsearch建立索引的速度几乎是实时的。 随着数据量的指数性增加，Solr的查询性能会大打折扣，而Elasticsearch的查询性能几乎不变，可以说是实时的。 Solr是通过Zookeeper实现分布式管理的，而Elasticsearch自身携带分布式协调管理能力。 Solr支持Xml、Json、Csv，而Elasticsearch仅支持Json。 Solr查询快，
ElasticSearch和solr的对比
ywl470812087的博客
03-08 639
关于ES：ElasticSearch是一个事实分布式搜索和分析引擎，使用其可以以前所未有的速度处理大数据，他用于全文搜索、结构化搜索、分析以及将这三者混合使用。维基百科使用ElasticSearch提供全文搜索并高亮关键字，以及输入实时搜索(search+asyou+type)等搜索纠错(did+you+mean)等搜索建议功能。ElasticSearch是一个基于Apache Lucene(TM...
Elasticsearch与Solr对比：分布式特性和选型要点
二、Solr与Elasticsearch的对比 Solr，作为Apache Lucene项目的一部分，同样是一个强大的全文搜索引擎。与Elasticsearch相比，Solr更注重于传统的企业级搜索应用，而Elasticsearch在实时分析和大数据处理方面表现...
搜索引擎选择： Elasticsearch与Solr - 叽歪.pdf
11-18
在进行搜索引擎选择时，对比Elasticsearch与Solr可以帮助我们更好地了解它们各自的特点和适用场景。 首先，Elasticsearch是一个高度可扩展的开源全文搜索引擎，它旨在快速、可靠地从任何结构化或非结构化数据中提供...
SolrCloud和ElasticSearch对比
12-20
SolrCloud ElasticSearch对比
Solr与MySQL查询性能对比
Truong的专栏
09-29 3882
测试数据量：10407608 Num Docs: 10407608 在项目中一个最常用的查询，查询某段时间内的数据，SQL查询获取数据，30s左右 SELECT * FROM `tf_hotspotdata_copy_test` WHERE collectTime BETWEEN '2014-12-06 00:00:00' AND '2014-12-10 21:31:55';
Elasticsearch 和 solr 的区别
weixin_56149599的博客
05-04 1038
背景：它们都是基于Liceme搜索服务器基础之上开发，一款优秀的，高性能的企业级搜索服务器【是因为他们都是基于分词技术构建的倒排索引的方式进行查询】 开发语言：Java语言 诞生时间 Solr：2004年诞生 Es：2010年诞生 Es更新【功能更强大】 区别： 1.当时是建立索引的时候，solr会产生io阻塞，而es不会，es查询行呢个要高于solr。 2.在不断动态添加数据的时候，solr的检索效率会变得地下，而es则没有什么变化。 3.Solr利用zookeeper进行分布式管理
ES核心概念
小叶曲
05-22 245
ES核心概念 索引 字段类型（mapping） 文档（documents）
elasticSearch从零整合springboot项目实操
最新发布
qq_60279396的博客
04-14 933
对应如前面说所的，type这个字段在8.0将会被删除。ik分词器，如果想要自定义的搜索的标签可以自行加到ik分词器中。ik分词器作为一个插件，需要手动的添加到elasticSearch中的plugin中。elasticSearch 和solr的区别最大的就是 es对应的 是 json的格式。分词算法，有ik_smart 和ik_max_word ，其中ik_smart为最少切分 ，ik_max_word是最细粒度切分。对于某个字段搜索出来的结果有很多， 更具相似的设置对应的文档的权重进行排序。
尚硅谷面试第一季-18ES与Solr的区别
weixin_34097242的博客
03-31 808
背景：它们都是基于Lucene搜索服务器基础之上开发，一款优秀的，高性能的企业级搜索服务器。【是因为他们都是基于分词技术构建的倒排索引的方式进行查询】 开发语言：Java语言开发 诞生时间：Solr ：2004年诞生。ES：2010年诞生。ES 更新【功能越强大】 区别： 1.当实时建立索引的时候，solr会产生io阻塞，而es则不会，es查询性能要高于solr。 2.在不断动态添加数据...
ElasticSearch（ES）和solr的关系和区别（详细版）
杨先森的专栏
11-22 1万+
一、两者的概念 1、【solr】:Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果，【特点】是一个高性能，采用Java开发， Solr 基于Lucene的全文搜索服务器。同时对其进行了扩展，提...
面试题：ES和Solr的区别是什么？
小问号的博客
11-22 1916
es和solr都是基于lucence框架的分词技术的倒排索引进行实现的高性能的搜索引擎框架。 Solr 2004年诞生（当时是Solar）。 ElasticSearch 2010年诞生。 ES更加新。 当单纯的对已有的数据进行检索的话，Solr的性能优于es。 当实时建立索引的时候，Solr会进行io阻塞，查询性能较差，而es不会。 随着数据量的增加，Solr的搜索效率变低，而es没有太多变化。 ...
Elasticsearch与Solr优缺点比较
BKKBjams的博客
06-30 2142
Elasticsearch简介 Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于全文搜索，结构化搜索以及分析，也可以将这三者进行组合。 Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎，可以说Lucene是当今最先进，最高效的全功能开源搜索引擎框架。 但是Lucene只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene。需要很多的学习了解，才能明白它是如何运行的
完整教程：spring-boot-starter-data-elasticsearch整合elasticsearch 6.x
热门推荐
程裕强的专栏
01-09 10万+
1、前言 网上很多言论： 新版本的SpringBoot 2的spring-boot-starter-data-elasticsearch中支持的Elasticsearch版本是2.X， 但Elasticsearch实际上已经发展到6.5.X版本了，为了更好的使用Elasticsearch的新特性， 所以弃用了spring-boot-starter-data-elasticsearch依赖，而改为直...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值