ElasticSearch倒排索引

最新推荐文章于 2024-10-29 13:53:45 发布

只看见而已

最新推荐文章于 2024-10-29 13:53:45 发布

阅读量1k

点赞数 27

文章标签： elasticsearch 大数据搜索引擎

本文链接：https://blog.csdn.net/fada_da_da/article/details/142622208

版权

一、ElasticSearch基本概念

Elastucsearch是基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是 Apache Solr，也是基于Lucene 演示：京东，淘宝。

Lucene是一个Java语言的搜索引擎类库,是Apache公司的顶级项目，由DougCutting于1999年研发。

重要特性：

分布式的实时文件存储，每个字段都被索引并可被搜索
实时分析的分布式搜索引擎
可以扩展到上百台服务器，处理PB及结构或非结构化数据

二、倒排索引

倒排索引的概念是基于MySql这样的正向索引而言。

1.正向索引

正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。

如果根据·id查询，直接走索引，查询速度非常快

Id	title
1	IPhone16promax
2	IWatch
3	IPhone16promax充电器

基于title做模糊查询，只能是逐行扫描，历程如下：

用户搜索数据，条件是title符合"%手机%"
逐行获取数据，比如是id为1的数据
判断数据中的title是否符合用户的搜索条件
如果符合则放入结果集，不符合则丢弃。回到步骤1

逐行扫描，也就是全表扫描，随着数据量的增加，其查询效率也会越来越低。当数量达到数百万时，就是一场灾难。

2. 倒排索引

文档（Document）:用来搜素的数据，其中的每一条数据是一个文档。如：一个网页、一个商品信息。
词条（Term）:对文档数据或用户搜素，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条。

创建倒排索引是对正向索引的一种特殊处理，流程如下：

将每一个文档的数据利用算法分词，得到一个个词条
创建表，每行数据包括词条、词条所在的文档id，位置等信息
因为词条唯一性，可以给词条创建索引，例如hash表结构索引

如图：正向索引

id	title
1	IPhone16promax
2	IPhoneWatch
3	IPhone16promax充电器

倒排索引

词条	文档id
IPhone	1,2,3
IPhone16promax	1,3
Watch	2
充电器	3

倒排索引的搜索流程如下：

用户输入条件为“IPhoneWatch”进行搜素
对用户输入内容分词，得到词条:"IPhone","Watch"
拿着词条在倒排索引中查找，可以得到包含词条的文档id:1、2、3。
拿着文档的id到正向索引中查找具体文档。

虽然要先查询倒排索引，再查询正向索引，但无论是词条、还是文档id都建立了索引，查询速度非常快，无序全表扫描。

3.正向和倒排

正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。
倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档。是根据词条找文档的过程。

正向索引：

优点:

可以给多个字段创建索引
根据索引字段搜索、排序速度非常快

缺点

根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

优点：

根据词条搜索，模糊搜索时，速度非常快

缺点:

只能给词条创建索引，而不是字段
无法根据字段做排序

总结：倒排索引和正向索引的区别主要在于索引方式：正向索引按照文档ID有序存储每个文档，二倒排索引按照词条将文档分类存储。

具体实现

连接mysql的实体类

package com.ly.springboot_es_hotel.pojo;

import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;
@Data
@TableName("tb_hotel")
public class Hotel {
    @TableId(type = IdType.INPUT)
    private Long id;
    private String name;
    private String address;
    private Integer price;
    private Integer score;
    private String brand;
    private String city;
    private String starName;
    private String business;
    private String longitude;//经度
    private String latitude;//纬度
    private String pic;
}

关于es实体类

package com.ly.springboot_es_hotel.pojo;

import lombok.Data;
import lombok.NoArgsConstructor;
@Data
@NoArgsConstructor
public class HotelDoc {
    private Long id;
    private String name;
    private String address;
    private Integer price;
    private Integer score;
    private String brand;
    private String city;
    private String starName;
    private String business;
    private String location;
    private  String pic;

    public HotelDoc(Hotel hotel){
        this.id= hotel.getId();
        this.name= hotel.getName();
        this.address= hotel.getAddress();
        this.price= hotel.getPrice();
        this.score= hotel.getScore();
        this.brand= hotel.getBrand();
        this.city= hotel.getCity();
        this.starName= hotel.getStarName();
        this.business= hotel.getBusiness();
        this.location= hotel.getLatitude()+","+ hotel.getLongitude();
        this.pic= hotel.getPic();
    }
}

做查询准备的一些属性

package com.ly.springboot_es_hotel.pojo;

import lombok.Data;

import java.util.List;


@Data
public class PageResult {
    private Long total;
    private List<HotelDoc> hotels;

    public PageResult() {
    }

    public PageResult(Long total, List<HotelDoc> hotels) {
        this.total = total;
        this.hotels = hotels;
    }
}

package com.ly.springboot_es_hotel.pojo;

import lombok.Data;

@Data
public class RequestParams {
    private String key;//搜索关键字
    private Integer page;//当前页
    private Integer size;//每页记录数
    private String sortBy;//排序字段

    //组合查询服务属性
    private String brand;
    private String city;
    private String starName;
    private Integer minPrice;
    private  Integer maxPrice;

}

业务层查询条件方式

package com.ly.springboot_es_hotel.service;

import com.alibaba.fastjson.JSON;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.ly.springboot_es_hotel.mapper.HotelMapper;
import com.ly.springboot_es_hotel.pojo.Hotel;
import com.ly.springboot_es_hotel.pojo.HotelDoc;
import com.ly.springboot_es_hotel.pojo.PageResult;
import com.ly.springboot_es_hotel.pojo.RequestParams;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.bind.annotation.RequestParam;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

@Service
public class HotelServiceImp extends ServiceImpl<HotelMapper, Hotel> implements IHotelService {
    @Autowired
    private RestHighLevelClient restHighLevelClient;
    @Override
    public PageResult search(RequestParams params) {
//        try {
//            //准备请求
//            SearchRequest request=new SearchRequest("hotels");
//            //准备请求参数
//            //查询条件
//            String key=params.getKey();
//            if (key==null||"".equals(key)){
//                request.source().query(QueryBuilders.matchAllQuery());
//            }else {
//                request.source().query(QueryBuilders.matchQuery("all",key));
//            }
//            //分页
//            int page=params.getPage();
//            int size = params.getSize();
//            request.source().from((page-1)*size).size(size);
//            //发送请求
//            SearchResponse response =restHighLevelClient.search(request, RequestOptions.DEFAULT);
//         return    handleResponse(response);
//        } catch (IOException e) {
//            throw new RuntimeException("搜索数据失败",e);
//        }
/*************************条件查询**************************************/
//准备Request
        try {
            SearchRequest request=new SearchRequest("hotels");
            //1.准备Boolean查询
            BoolQueryBuilder boolQuery=QueryBuilders.boolQuery();
            //关键字搜索，match查询，放到must中
            String key=params.getKey();
            if(key==null||"".equals(key)){
                //为空所查询的
                request.source().query(QueryBuilders.matchAllQuery());
            }else {
                request.source().query(QueryBuilders.matchQuery("all",key));
            }
            //品牌
            String brand =params.getBrand();
            if (brand!=null){
                boolQuery.filter(QueryBuilders.termQuery("brand",brand));
            }
            //城市
            String city=params.getCity();
            if (city!=null){
                boolQuery.filter(QueryBuilders.termQuery("city",city));
            }
            //星级
            String starName=params.getStarName();
            if (starName!=null){
                boolQuery.filter(QueryBuilders.termQuery("starName",starName));
            }
            //价格范围
            Integer minPrice=params.getMinPrice();
            Integer maxPrice=params.getMaxPrice();
            if (maxPrice!=null&&minPrice!=null){
                boolQuery.filter(QueryBuilders.rangeQuery("price").gte(minPrice).lte(maxPrice));
            }
            //设置查询条件
            request.source().query(boolQuery);
            //分页
            int page=params.getPage();
            int size=params.getSize();
            request.source().from((page-1)*size).size(size);
            //发送请求
            SearchResponse response =restHighLevelClient.search(request, RequestOptions.DEFAULT);
            //解析响应结果
            PageResult pageResult = handleResponse(response);
            return pageResult;
        } catch (IOException e) {
            throw new RuntimeException("搜索数据失败",e);
        }
    }

    //处理结果集
    private PageResult handleResponse(SearchResponse response){
        SearchHits searchHits=response.getHits();
        //总条数
        long total = searchHits.getTotalHits().value;
        //获取文档数据
        SearchHit[] hits = searchHits.getHits();
        //遍历
        List<HotelDoc> hotels=new ArrayList<>(hits.length);
        for (SearchHit hit : hits) {
            //获取source
            String json = hit.getSourceAsString();
            //反序列化
            HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
            //放入集合
            hotels.add(hotelDoc);
            System.out.println(hotelDoc);
        }
        return new PageResult(total,hotels);

    }
}