ES
ES Restful API GET、POST、PUT、DELETE、HEAD含义:
1)GET:获取请求对象的当前状态。
2)POST:改变对象的当前状态。
3)PUT:创建一个对象。
4)DELETE:销毁对象。
5)HEAD:请求获取对象的基础信息。
Mysql与Elasticsearch核心概念对比示意图
将SQL转化为DSL:
POST /_sql/translate
{
"query" : "select * from chat1 where fromAccount='55815f0ac17d9736f19ef3ed18eb230b' and msgTimestamp>1602172800 and msgTimestamp<1602259200"
}
- query: 用于包含查询使用到的语法
- match_all: 最简单的查询,获取索引所有数据,类似搜索 *。如:”query”:{“match_all”:{}}
- bool: 复合查询,可以包含多个查询条件,主要有(must,must_not,should)
- must: 用于包含逻辑与查询条件,即所有查询条件都满足才行
- must_not: 用于包含逻辑非查询条件,即不包含所有查询的条件数据
- should: 用于包含逻辑或查询条件,即其中有一个条件满足即可
- filter: 与must一样,包含的所有条件都要满足,但不会参与计算分值,查询速度上会提升不少
- match: 匹配查询,用于匹配指定属性数据,也可以匹配时间,IP等特殊数据 注意: match匹配不会解析通配符,匹配的效果受到索引属性类型影响,如果索引属性设置了分词,那么match匹配也会分词匹配,他也不解析”“,但可以设置逻辑关系来处理
- operator: 匹配逻辑关系,默认是or,可设置为and,这样可达到精确匹配的效果
- query_string: 使用查询解析器来解析查询内容,如port:80 AND server:http。**注意:**此类型请求有很多选项属性,可以设置一些特殊的行为
- term: 查找包含在反向索引中指定的确切术语的文档 ,代表完全匹配,即不进行分词器分析,文档中必须包含整个搜索的词汇
- terms: 筛选具有匹配任何条件的字段,如”terms” : { “user” : [“kimchy”, “elasticsearch”]}
- range: 将文档与具有特定范围内的字段相匹配。Lucene查询的类型依赖于字段类型,对于字符串字段,即TermRangeQuery,而对于number/date字段,查询是一个数字的范围。如:”range”:{“port”:{“gte”:10,”lte”:20,”boost”:2.0}}
- gte: 大于或等于
- gt: 大于
- lte: 小于或等于
- lt: 小于
- boost: 设置查询的boost值,默认值为1.0
- exists: 返回在原始字段中至少有一个非空值的文档,注意:”“,”-“这些都不算是空值
- prefix: 匹配包含带有指定前缀字段的字段(没有分析),前缀查询映射到Lucene前缀查询,如:”prefix” : { “user” : “ki” },查询user数据前缀为ki的doc
- wildcard: 匹配具有匹配通配符表达式的字段(未分析)的文档。支持**(*通配符)是匹配任何字符序列(包括空的序列)和(?通配符)**它匹配任何一个字符。注意,这个查询可能比较慢,因为它需要迭代多个术语。为了防止非常慢的通配符查询,一个通配符项不应该从通配符开始,或者?通配符查询映射到Lucene通配符查询。如:”wildcard” : { “user” : “ki*y” }
- regexp: regexp查询允许您使用正则表达式术语查询,意味着Elasticsearch将把regexp应用到该字段的标记器所产生的词汇,而不是该字段的原始文本。regexp查询的性能严重依赖于所选择的正则表达式,通配符往往会降低查询性能。如:”regexp”:{ “name.first”:”s.*y” }
- fuzzy: 模糊查询使用基于Levenshtein编辑距离的相似性。如:”fuzzy” : { “user” : “ki” }
- type: 过滤文档匹配所提供的文档/映射类型。如:”type”:{ “value” : “my_type” }
- ids: 过滤只具有提供的id的文档。注意:这个查询使用了_uid字段,类型是可选的,可以省略,也可以接受一组值。如果没有指定类型,那么将尝试在索引映射中定义的所有类型。如:”ids”:{ “type” : “my_type”,”values” : [“1”,”4”,”100”] }。
- highlight: 允许在一个或多个字段中突出显示搜索结果,基于lucene plain highlighter。在默认情况下,高亮显示会将高亮显示的文本包装在 and ,可以通过设置pre_tags 与 post_tags来自定义,如:”highlight”:{ “pre_tags” : [““], “post_tags” : [““], “fields” : {“_all”:{}} }
- pre_tags: 自定义包含搜索关键字的前缀
- post_tags: 自定义包含搜索关键字的后缀
- fields: 用于指定要高亮的属性,_all表示所以属性都需要高亮,如:”fields”:{ “_all” : {} },也可以指定具体属性 “fields”:{ “app” : {} },也可以给每个属性单独指定设置 “fields”:{ “app” : {“fragment_size” : 150, “number_of_fragments” : 3} }
- highlight_query: 可以通过设置highlight_query来突出显示搜索查询之外的查询,通常,最好将搜索查询包含在highlight_query中。如:”highlight_query”:{ “bool”:{“must”:[{“query_string”:{“query”:app:apache,”analyze_wildcard”:True,”all_fields”:True}}]} }
- fragment_size: 用于指定高亮显示时,碎片的长度,如果过短,高亮内容会被切分为多个碎片。默认情况下,当使用高亮显示的内容时,碎片大小会被忽略,因为它会输出句子,而不管它们的长度
- number_of_fragments 用于指定高亮显示时,碎片的数量,如果指定为0,那么就不会产生任何片段
- from: 可以通过使用from和size参数来对结果进行分页,from参数指定您想要获取的第一个结果的偏移量
- size: 可以通过使用from和size参数来对结果进行分页,size参数指定要返回结果的最大数量
- sort: 允许在特定的字段上添加一个或多个排序,排序是在每个字段级别上定义的,用特殊的字段名来排序,然后根据索引排序进行排序,如”sort”: [ { “date”: { “order”: “desc” } } ],desc降序,asc升序
- aggs: aggs主要用于分类集合,可以将查询的数据按指定属性进行分类集合统计.如:”aggs”:{ “deviceType”:{ “terms”:{ “field”:”deviceType”, “size”:6 } } }
- field: 用于指定要分类的属性名称
- size: 用于指定分类集合的数量,即只集合前N名
Filter DSL
term 过滤
term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经分析的文本数据类型):
{ “term”: { “age”: 26 }}
{ “term”: { “date”: “2014-09-01” }}
{ “term”: { “public”: true }}
{ “term”: { “tag”: “full_text” }}
完整的例子, hostname 字段完全匹配成 saaap.wangpos.com 的数据:
{
“query”: {
“term”: {
“hostname”: “saaap.wangpos.com”
}
}
}
terms 过滤
terms 跟 term 有点类似,但 terms 允许指定多个匹配条件。 如果某个字段指定了多个值,那么文档需要一起去做匹配:
{
“terms”: {
“tag”: [ “search”, “full_text”, “nosql” ]
}
}
完整的例子,所有http的状态是 302 、304 的, 由于ES中状态是数字类型的字段,所有这里我们可以直接这么写。:
{
“query”: {
“terms”: {
“status”: [
304,
302
]
}
}
}
range 过滤
range过滤允许我们按照指定范围查找一批数据:
{
“range”: {
“age”: {
“gte”: 20,
“lt”: 30
}
}
}
范围操作符包含:
- gt :: 大于
- gte:: 大于等于
- lt :: 小于
- lte:: 小于等于
一个完整的例子, 请求页面耗时大于1秒的数据,upstream_response_time 是 nginx 日志中的耗时,ES中是数字类型。
{
“query”: {
“range”: {
“upstream_response_time”: {
“gt”: 1
}
}
}
}
exists 和 missing 过滤
exists 和 missing 过滤可以用于查找文档中是否包含指定字段或没有某个字段,类似于SQL语句中的IS_NULL条件.
{
“exists”: {
“field”: “title”
}
}
这两个过滤只是针对已经查出一批数据来,但是想区分出某个字段是否存在的时候使用。
bool 过滤
bool 过滤可以用来合并多个过滤条件查询结果的布尔逻辑,它包含一下操作符:
- must :: 多个查询条件的完全匹配,相当于 and。
- must_not :: 多个查询条件的相反匹配,相当于 not。
- should :: 至少有一个查询条件匹配, 相当于 or。
这些参数可以分别继承一个过滤条件或者一个过滤条件的数组:
{
“bool”: {
“must”: { “term”: { “folder”: “inbox” }},
“must_not”: { “term”: { “tag”: “spam” }},
“should”: [
{ “term”: { “starred”: true }},
{ “term”: { “unread”: true }}
]
}
}
Query DSL
match_all 查询
可以查询到所有文档,是没有查询条件下的默认语句。
{
“match_all”: {}
}
此查询常用于合并过滤条件。 比如说你需要检索所有的邮箱,所有的文档相关性都是相同的,所以得到的_score为1.
match 查询
match查询是一个标准查询,不管你需要全文本查询还是精确查询基本上都要用到它。
如果你使用 match 查询一个全文本字段,它会在真正查询之前用分析器先分析match一下查询字符:
{
“match”: {
“tweet”: “About Search”
}
}
如果用match下指定了一个确切值,在遇到数字,日期,布尔值或者not_analyzed 的字符串时,它将为你搜索你给定的值:
{ “match”: { “age”: 26 }}
{ “match”: { “date”: “2014-09-01” }}
{ “match”: { “public”: true }}
{ “match”: { “tag”: “full_text” }}
提示: 做精确匹配搜索时,你最好用过滤语句,因为过滤语句可以缓存数据。
match查询只能就指定某个确切字段某个确切的值进行搜索,而你要做的就是为它指定正确的字段名以避免语法错误。
multi_match 查询
multi_match查询允许你做match查询的基础上同时搜索多个字段,在多个字段中同时查一个:
{
“multi_match”: {
“query”: “full text search”,
“fields”: [ “title”, “body” ]
}
}
bool 查询
bool 查询与 bool 过滤相似,用于合并多个查询子句。不同的是,bool 过滤可以直接给出是否匹配成功, 而bool 查询要计算每一个查询子句的 _score (相关性分值)。
- must:: 查询指定文档一定要被包含。
- must_not:: 查询指定文档一定不要被包含。
- should:: 查询指定文档,有则可以为文档相关性加分。
以下查询将会找到 title 字段中包含 “how to make millions”,并且 “tag” 字段没有被标为 spam。 如果有标识为 “starred” 或者发布日期为2014年之前,那么这些匹配的文档将比同类网站等级高:
{
“bool”: {
“must”: { “match”: { “title”: “how to make millions” }},
“must_not”: { “match”: { “tag”: “spam” }},
“should”: [
{ “match”: { “tag”: “starred” }},
{ “range”: { “date”: { “gte”: “2014-01-01” }}}
]
}
}
提示: 如果bool 查询下没有must子句,那至少应该有一个should子句。但是 如果有must子句,那么没有should子句也可以进行查询。
上面内容来自: [http://es.xiaoleilu.com/054_Query_DSL/70_Important_clauses.html](javascript:void())
ElasticSearch 查询(match和term)
[http://www.cnblogs.com/yjf512/p/4897294.html](javascript:void())
wildcards 查询
使用标准的shell通配符查询
参考: [https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-wildcard-query.html](javascript:void())
以下查询能够匹配包含W1F 7HW和W2F 8HW的文档:
GET /my_index/address/_search
{
“query”: {
“wildcard”: {
“postcode”: “W?F*HW”
}
}
}
又比如下面查询 hostname 匹配下面shell通配符的:
{
“query”: {
“wildcard”: {
“hostname”: “wxopen*”
}
}
}
regexp 查询
假设您只想匹配以W开头,紧跟着数字的邮政编码。使用regexp查询能够让你写下更复杂的模式:
GET /my_index/address/_search
{
“query”: {
“regexp”: {
“postcode”: “W[0-9].+”
}
}
}
这个正则表达式的规定了词条需要以W开头,紧跟着一个0到9的数字,然后是一个或者多个其它字符。
下面例子是所有以 wxopen 开头的正则
{
“query”: {
“regexp”: {
“hostname”: “wxopen.*”
}
}
}
参考: [https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-regexp-query.html](javascript:void())
prefix 查询
以什么字符开头的,可以更简单地用 prefix,如下面的例子:
{
“query”: {
“prefix”: {
“hostname”: “wxopen”
}
}
}
参考 : [https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-prefix-query.html](javascript:void())
更多的查询命令,可以看: [https://www.elastic.co/guide/en/elasticsearch/reference/current/term-level-queries.html#term-level-queries](javascript:void())
短语匹配(Phrase Matching)
当你需要寻找邻近的几个单词时,你会使用match_phrase查询:
GET /my_index/my_type/_search
{
"query": {
"match_phrase": {
"title": "quick brown fox"
}
}
}
和match查询类似,match_phrase查询首先解析查询字符串来产生一个词条列表。然后会搜索所有的词条,
但只保留含有了所有搜索词条的文档,并且词条的位置要邻接。一个针对短语quick fox的查询不会匹配
我们的任何文档,因为没有文档含有邻接在一起的quick和box词条。
match_phrase查询也可以写成类型为phrase的match查询:
"match": {
"title": {
"query": "quick brown fox",
"type": "phrase"
}
}
Query DSL 与 Filter DSL
DSL查询语言中存在两种:查询DSL(query DSL)和过滤DSL(filter DSL)。
它们两个的区别如下图:
query DSL
在查询上下文中,查询会回答这个问题——“这个文档匹不匹配这个查询,它的相关度高么?”
如何验证匹配很好理解,如何计算相关度呢?ES中索引的数据都会存储一个_score分值,分值越高就代表越匹配。另外关于某个搜索的分值计算还是很复杂的,因此也需要一定的时间。
查询上下文 是在 使用query进行查询时的执行环境,比如使用search的时候。
一些query的场景:
- 与full text search的匹配度最高
- 包含run单词,如果包含这些单词:runs、running、jog、sprint,也被视为包含run单词
- 包含quick、brown、fox。这些词越接近,这份文档的相关性就越高
filter DSL
在过滤器上下文中,查询会回答这个问题——“这个文档匹不匹配?”
答案很简单,是或者不是。它不会去计算任何分值,也不会关心返回的排序问题,因此效率会高一点。
过滤上下文 是在使用filter参数时候的执行环境,比如在bool查询中使用Must_not或者filter
另外,经常使用过滤器,ES会自动的缓存过滤器的内容,这对于查询来说,会提高很多性能。
一些过滤的情况:
- 创建日期是否在2013-2014年间?
- status字段是否为published?
- lat_lon字段是否在某个坐标的10公里范围内?
参考: http://www.cnblogs.com/xing901022/p/4975931.html
下图的查询就是一个组合查询, 既有 filter 也有 query:
上面文章提供了一个测试例子。
- query语句查询结果,第一次查询用了300ms,第二次用了280ms.
- filter查询出来的结果,第一次查询时间是280ms,第二次130ms。
具体如何写 查询和 过滤并存的请看下面这篇文章:
查询与过滤条件的合并
http://es.xiaoleilu.com/054_Query_DSL/75_Queries_with_filters.html
比如说我们有这样一条查询语句,获取右键内容中带“business opportunity
” 的:
{
"match": {
"email": "business opportunity"
}
}
然后我们想要让这条语句加入 term 过滤,只在收信箱中匹配邮件:
{
"term": {
"folder": "inbox"
}
}
search API中只能包含 query 语句,所以我们需要用 filtered 来同时包含 “query” 和 “filter” 子句:
{
"filtered": {
"query": { "match": { "email": "business opportunity" }},
"filter": { "term": { "folder": "inbox" }}
}
}
我们在外层再加入 query 的上下文关系:
GET /_search
{
"query": {
"filtered": {
"query": { "match": { "email": "business opportunity" }},
"filter": { "term": { "folder": "inbox" }}
}
}
}
参考: http://www.voidcn.com/article/p-fuexrdtf-pv.html
http://es.xiaoleilu.com/054_Query_DSL/75_Queries_with_filters.html
https://www.elastic.co/guide/cn/elasticsearch/guide/current/highlighting-intro.html