typora-root-url: img
基于数据库查询的问题
搜索就是查询,普通的关系型数据库存在的问题。
1、如果使用模糊查询
SELECT * FROM goods WHERE title LIKE ‘%手机%’;
如果使用模糊查询,左边有通配符,不会走索引,会全表扫描,性能低。
2、如果在电商网站中输入“华为手机”进行搜索,我期望即以“华为”为关键字,又以“手机”为关键字进行搜索,那么关系性数据库是不能直接办到的,需要在程序中先将字符串进行处理。
倒排索引
概念
将文档中的内容,进行分词,形成词条。然后记录词条和数据的唯一标识(id)的对应关系,形成的产物。
分词:将一段文本按照一定的规则,拆分为不同的词条
ElasticSearch数据的存储和搜索原理
ElasticSearch 将要存储的json格式的数据,并且将以后要用来搜索的字段进行分词,将分词过后得到词条作为索引列,将数据的id作为值进行存储。至于分词的过程,由ElasticSearch自动帮我们进行完成。
生成的倒排索引中,词条会排序,形成一颗树形结构,提升词条的查询速度
ElasticSearch概念详解
- ElasticSearch是一个基于Lucene的搜索服务器(例如分词,es自己就帮我们进行分词操作,Lucene还需要自己写代码进行分词,所以可以理解为es是将Lucene进行封装,简化了操作)
- 是一个分布式、高扩展、高实时的搜索与数据分析引擎
- 基于RESTful web接口
- Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎
- 官网:https://www.elastic.co/
应用场景:
- 搜索:海量数据的查询
- 日志数据分析
- 实时数据分析
MySQL和ElasticSearch区别:
MySQL有事务性,而ElasticSearch没有事务性,所以你删了的数据是无法恢复的。
ElasticSearch没有物理外键这个特性,,如果你的数据强一致性要求比较高,还是建议慎用
ElasticSearch和MySql分工不同,MySQL负责存储数据,ElasticSearch负责搜索数据。
当搜索时用es,数据的增删改用MySQL,es是用来补充MySQL的。
ElasticSearch核心概念
索引(index)
ElasticSearch存储数据的地方,可以理解成关系型数据库中的数据表概念。
映射(mapping)
mapping定义了每个字段的类型、字段所使用的分词器等。相当于关系型数据库中的表结构。
文档(document)
Elasticsearch中的最小数据单元,常以json格式显示。一个document相当于关系型数据库中的一行数据。
倒排索引
一个倒排索引由文档中所有不重复词的列表构成,对于其中每个词,对应一个包含它的文档id列表。
类型(type)
一种type就像一类表。如用户表、角色表等。在Elasticsearch7.X默认type为_doc
- ES 5.x中一个index可以有多种type。
- ES 6.x中一个index只能有一种type。
- ES 7.x以后,将逐步移除type这个概念,现在的操作已经不再使用,默认_doc
RESTful风格
- REST(Representational State Transfer),表述性状态转移,是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是RESTful。就是一种定义接口的规范。
- 基于HTTP。
- 可以使用XML格式定义或JSON格式定义。
- 每一个URI代表1种资源
- 客户端使用GET、POST、PUT、DELETE 4个表示操作方式的动词对服务端资源进行操作:
GET:用来获取资源
POST:用来新建资源(也可以用于更新资源)
PUT:用来更新资源
DELETE:用来删除资源
操作索引
相当于数据表
添加索引
PUT http://ip:端口/索引名称
查询索引
GET http://ip:端口/索引名称 # 查询单个索引信息
GET http://ip:端口/索引名称1,索引名称2... # 查询多个索引信息
GET http://ip:端口/_all # 查询所有索引信息
删除索引
DELETE http://ip:端口/索引名称
关闭索引
POST http://ip:端口/索引名称/_close
打开索引
POST http://ip:端口/索引名称/_open
操作映射-----数据类型
相当于数据结构。
数据类型:
- 简单数据类型
- 复杂数据类型
简单数据类型:
字符串:text:会分词,不支持聚合函数
keyword:不会分词,将全部内容作为一个词条,支持聚合函数
数值:
布尔:boolean
二进制:binary
范围类型:integer_range, float_range, long_range, double_range, date_range
日期:date
复杂数据类型:
对象:[] 数组规定的时候不用显式指定数据类型,每一个值都可以给多值,直接使用中括号括起来就行
数组:{}
基于Kibana连接工具操作
操作索引
查询索引:
GET http://ip:端口/索引名称 # 查询单个索引信息
GET 索引名称
#创建索引
PUT person
#查询索引
GET person
#查询映射
GET person/_mapping
#添加索引,已经有了映射。
PUT person/_mapping
{
"properties":{
"name":{
"type":"keyword"
},
"age":{
"type":"integer"
}
}
}
#在创建索引时间,添加映射
PUT user
{
"mappings": {
"properties":{
"name":{
"type":"keyword"
},
"age":{
"type":"integer"
}
}
}
}
操作文档
相当于数据库的一条数据
# 操作映射---------------------------------------
#指定id,id不存在就是添加,存在就是修改。每一次修改自带_version属性自动加1
PUT person/_doc/1
{
"name":"张三",
"age":20,
"address":"北京海淀区"
}
#不指定id,由UUid随机生成,不指定id 需要使用POST方式,不指定id,每次执行都会生成新文档
POST person/_doc/
{
"name":"李四",
"age":21,
"address":"北京海淀区"
}
#根据id查询文档
GET person/_doc/pRQxYnQBf8oW4hUFw0Dr
#查询所有文档
GET person/_search
#删除文档
DELETE person/_doc/pRQxYnQBf8oW4hUFw0Dr
Uid随机生成,不指定id 需要使用POST方式,不指定id,每次执行都会生成新文档
POST person/_doc/
{
"name":"李四",
"age":21,
"address":"北京海淀区"
}
#根据id查询文档
GET person/_doc/pRQxYnQBf8oW4hUFw0Dr
#查询所有文档
GET person/_search
#删除文档
DELETE person/_doc/pRQxYnQBf8oW4hUFw0Dr