一、ElasticSearch基本概念
Elastucsearch是基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基 于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布, 是一种流行的企业级搜索引擎。Elasticsearch用于云计算中,能够达到实时搜索,稳定,可靠,快速, 安装使用方便。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他 语言中都是可用的。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是 Apache Solr,也是基于Lucene 演示:京东,淘宝 。
Lucene是一个Java语言的搜索引擎类库,是Apache公司的顶级项目,由DougCutting于1999年研发。
重要特性:
- 分布式的实时文件存储,每个字段都被索引并可被搜索
- 实时分析的分布式搜索引擎
- 可以扩展到上百台服务器,处理PB及结构或非结构化数据
二、倒排索引
倒排索引的概念是基于MySql这样的正向索引而言。
1.正向索引
正向索引是最传统的,根据id索引的方式。但根据词条查询时,必须先逐条获取每个文档,然后判断文档中是否包含所需要的词条,是根据文档找词条的过程。
如果根据·id查询,直接走索引,查询速度非常快
Id | title |
1 | IPhone16promax |
2 | IWatch |
3 | IPhone16promax充电器 |
基于title做模糊查询,只能是逐行扫描,历程如下:
- 用户搜索数据,条件是title符合"%手机%"
- 逐行获取数据,比如是id为1的数据
- 判断数据中的title是否符合用户的搜索条件
- 如果符合则放入结果集,不符合则丢弃。回到步骤1
逐行扫描,也就是全表扫描,随着数据量的增加,其查询效率也会越来越低。当数量达到数百万时,就是一场灾难。
2. 倒排索引
- 文档(Document):用来搜素的数据,其中的每一条数据是一个文档。如:一个网页、一个商品信息。
- 词条(Term):对文档数据或用户搜素,利用某种算法分词,得到的具备含义的词语就是词条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条。
创建倒排索引是对正向索引的一种特殊处理,流程如下:
- 将每一个文档的数据利用算法分词,得到一个个词条
- 创建表,每行数据包括词条、词条所在的文档id,位置等信息
- 因为词条唯一性,可以给词条创建索引,例如hash表结构索引
如图:正向索引
id | title |
1 | IPhone16promax |
2 | IPhoneWatch |
3 | IPhone16promax充电器 |
倒排索引
词条 | 文档id |
IPhone | 1,2,3 |
IPhone16promax | 1,3 |
Watch | 2 |
充电器 | 3 |
倒排索引的搜索流程如下:
- 用户输入条件为“IPhoneWatch”进行搜素
- 对用户输入内容分词,得到词条:"IPhone","Watch"
- 拿着词条在倒排索引中查找,可以得到包含词条的文档id:1、2、3。
- 拿着文档的id到正向索引中查找具体文档。
虽然要先查询倒排索引,再查询正向索引,但无论是词条、还是文档id都建立了索引,查询速度非常快,无序全表扫描。
3.正向和倒排
- 正向索引是最传统的,根据id索引的方式。但根据词条查询时,必须先逐条获取每个文档,然后判断文档中是否包含所需要的词条,是根据文档找词条的过程。
- 倒排索引则相反,是先找到用户要搜索的词条,根据词条得到保护词条的文档的id,然后根据id获取文档。是根据词条找文档的过程。
正向索引:
- 优点:
- 可以给多个字段创建索引
- 根据索引字段搜索、排序速度非常快
- 缺点
- 根据非索引字段,或者索引字段中的部分词条查找时,只能全表扫描。
倒排索引:
- 优点:
- 根据词条搜索,模糊搜索时,速度非常快
- 缺点:
- 只能给词条创建索引,而不是字段
- 无法根据字段做排序
总结:倒排索引和正向索引的区别主要在于索引方式:正向索引按照文档ID有序存储每个文档,二倒排索引按照词条将文档分类存储。
具体实现
连接mysql的实体类
package com.ly.springboot_es_hotel.pojo;
import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;
@Data
@TableName("tb_hotel")
public class Hotel {
@TableId(type = IdType.INPUT)
private Long id;
private String name;
private String address;
private Integer price;
private Integer score;
private String brand;
private String city;
private String starName;
private String business;
private String longitude;//经度
private String latitude;//纬度
private String pic;
}
关于es实体类
package com.ly.springboot_es_hotel.pojo;
import lombok.Data;
import lombok.NoArgsConstructor;
@Data
@NoArgsConstructor
public class HotelDoc {
private Long id;
private String name;
private String address;
private Integer price;
private Integer score;
private String brand;
private String city;
private String starName;
private String business;
private String location;
private String pic;
public HotelDoc(Hotel hotel){
this.id= hotel.getId();
this.name= hotel.getName();
this.address= hotel.getAddress();
this.price= hotel.getPrice();
this.score= hotel.getScore();
this.brand= hotel.getBrand();
this.city= hotel.getCity();
this.starName= hotel.getStarName();
this.business= hotel.getBusiness();
this.location= hotel.getLatitude()+","+ hotel.getLongitude();
this.pic= hotel.getPic();
}
}
做查询准备的一些属性
package com.ly.springboot_es_hotel.pojo;
import lombok.Data;
import java.util.List;
@Data
public class PageResult {
private Long total;
private List<HotelDoc> hotels;
public PageResult() {
}
public PageResult(Long total, List<HotelDoc> hotels) {
this.total = total;
this.hotels = hotels;
}
}
package com.ly.springboot_es_hotel.pojo;
import lombok.Data;
@Data
public class RequestParams {
private String key;//搜索关键字
private Integer page;//当前页
private Integer size;//每页记录数
private String sortBy;//排序字段
//组合查询服务属性
private String brand;
private String city;
private String starName;
private Integer minPrice;
private Integer maxPrice;
}
业务层查询条件方式
package com.ly.springboot_es_hotel.service;
import com.alibaba.fastjson.JSON;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.ly.springboot_es_hotel.mapper.HotelMapper;
import com.ly.springboot_es_hotel.pojo.Hotel;
import com.ly.springboot_es_hotel.pojo.HotelDoc;
import com.ly.springboot_es_hotel.pojo.PageResult;
import com.ly.springboot_es_hotel.pojo.RequestParams;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.bind.annotation.RequestParam;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
@Service
public class HotelServiceImp extends ServiceImpl<HotelMapper, Hotel> implements IHotelService {
@Autowired
private RestHighLevelClient restHighLevelClient;
@Override
public PageResult search(RequestParams params) {
// try {
// //准备请求
// SearchRequest request=new SearchRequest("hotels");
// //准备请求参数
// //查询条件
// String key=params.getKey();
// if (key==null||"".equals(key)){
// request.source().query(QueryBuilders.matchAllQuery());
// }else {
// request.source().query(QueryBuilders.matchQuery("all",key));
// }
// //分页
// int page=params.getPage();
// int size = params.getSize();
// request.source().from((page-1)*size).size(size);
// //发送请求
// SearchResponse response =restHighLevelClient.search(request, RequestOptions.DEFAULT);
// return handleResponse(response);
// } catch (IOException e) {
// throw new RuntimeException("搜索数据失败",e);
// }
/*************************条件查询**************************************/
//准备Request
try {
SearchRequest request=new SearchRequest("hotels");
//1.准备Boolean查询
BoolQueryBuilder boolQuery=QueryBuilders.boolQuery();
//关键字搜索,match查询,放到must中
String key=params.getKey();
if(key==null||"".equals(key)){
//为空所查询的
request.source().query(QueryBuilders.matchAllQuery());
}else {
request.source().query(QueryBuilders.matchQuery("all",key));
}
//品牌
String brand =params.getBrand();
if (brand!=null){
boolQuery.filter(QueryBuilders.termQuery("brand",brand));
}
//城市
String city=params.getCity();
if (city!=null){
boolQuery.filter(QueryBuilders.termQuery("city",city));
}
//星级
String starName=params.getStarName();
if (starName!=null){
boolQuery.filter(QueryBuilders.termQuery("starName",starName));
}
//价格范围
Integer minPrice=params.getMinPrice();
Integer maxPrice=params.getMaxPrice();
if (maxPrice!=null&&minPrice!=null){
boolQuery.filter(QueryBuilders.rangeQuery("price").gte(minPrice).lte(maxPrice));
}
//设置查询条件
request.source().query(boolQuery);
//分页
int page=params.getPage();
int size=params.getSize();
request.source().from((page-1)*size).size(size);
//发送请求
SearchResponse response =restHighLevelClient.search(request, RequestOptions.DEFAULT);
//解析响应结果
PageResult pageResult = handleResponse(response);
return pageResult;
} catch (IOException e) {
throw new RuntimeException("搜索数据失败",e);
}
}
//处理结果集
private PageResult handleResponse(SearchResponse response){
SearchHits searchHits=response.getHits();
//总条数
long total = searchHits.getTotalHits().value;
//获取文档数据
SearchHit[] hits = searchHits.getHits();
//遍历
List<HotelDoc> hotels=new ArrayList<>(hits.length);
for (SearchHit hit : hits) {
//获取source
String json = hit.getSourceAsString();
//反序列化
HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
//放入集合
hotels.add(hotelDoc);
System.out.println(hotelDoc);
}
return new PageResult(total,hotels);
}
}