(7)Elasticsearch-基础语法-下(Term、Match、Keyword、Text)

目录

1.概念

1.1.term与match

1.2.text与keyword

2.Term + Text/Keyword

(1)term查询text字段

(2)term查询keyword字段

3.Match + Text/Keyword

(1)match查询text字段

(2)match查询keyword字段

4.Match - Match_phrase

5.Match - Multi_match

6.Query_String

7、实际案例参考



参考文章:Elasticsearch中 match、match_phrase、query_string和term的区别

1.概念

1.1.term与match

term是精确查询

match是模糊查询

1.2.text与keyword

ES更新到5版本后,取消了 string 数据类型,代替它的是 keyword 和 text 数据类型。

Text

Text 数据类型被用来索引长文本,比如说电子邮件的主体部分或者一款产品的介绍。这些文本会被分析,在建立索引前会将这些文本进行分词,转化为词的组合,建立索引。允许 ES来检索这些词语。text 数据类型不能用来排序和聚合。

Keyword

Keyword 数据类型用来建立电子邮箱地址、姓名、邮政编码和标签等数据,不需要进行分词。可以被用来检索过滤、排序和聚合。keyword 类型字段只能用本身来进行检索。

注意:如果不像以上通过mapping 配置索引时,遇到字符串类型时候的字端,系统会默认为“text”类型。检索的时候对字符串进行分析。所以要想只通过字段本身来进行检索,还是需要按照上面把该字段改为“keyword”类型。

 

以下参考:Elasticsearch中 match、match_phrase、query_string和term的区别

2.Term + Text/Keyword

(1)term查询text字段

因为text字段会分词,而term不分词,所以term查询的条件必须是text字段分词后的某一个

(2)term查询keyword字段

 term不会分词。而keyword字段也不分词。需要完全匹配才可

 

3.Match + Text/Keyword

(1)match查询text字段

match分词,text也分词,只要match的分词结果和text的分词结果有相同的就匹配


Match查询会先对搜索词进行分词,分词完毕后再逐个对分词结果进行匹配,因此相比于term的精确搜索,match是分词匹配搜索,match搜索还有两个相似功能的变种,一个是match_phrase,一个是multi_match。

(2)match查询keyword字段

match会被分词,而keyword不会被分词,match的需要跟keyword的完全匹配可以

 

4.Match - Match_phrase

match_phrase的用法

主要知识点:

  • match_phrase的使用场景
  • match_phrase的用法
  • match_phrase的原理

一、什么是近似匹配

 match_phrase的使用场景

现假设有两个句子

1、java is my favourite programming language, and I also think spark is a very good big data system.

2、java spark are very related, because scala is spark's programming language and scala is also based on jvm like java.

   

进行match query,query语法如下:


   
   
  1. {
  2. "query":{
  3. "match": {
  4. " content": "java spark"
  5. }
  6. }

match query进行搜索,只能搜索到包含java或spark的document,包含java和spark的doc都会被返回回来。现在假如说我们要实现以下三个需求:

1、java spark,就靠在一起,中间不能插入任何其他字符,就要搜索出来这种doc

2、java spark,但是要求,java和spark两个单词靠的越近,doc的分数越高,排名越靠前

3、我们搜索时,文档中必须包含java spark这两个文档,且他们之间的距离不能超过5,

要实现上述三个需求,用match做全文检索,是搞不定的,必须得用proximity match(近似匹配),proximity match分两种,短语匹配(phrase match)和近似匹配(proximity match)。这一讲,要学习的是phrase match,就是仅仅搜索出java和spark靠在一起的那些doc,比如有个doc,是java use'd spark,这就不是结果。

二、match_phrase的用法

  phrase match,就是要去将多个term作为一个短语,一起去搜索,只有包含这个短语的doc才会作为结果返回。match是只在包含其中任何一个分词就返回。

1、match语法:


   
   
  1. GET /forum/ article/_search
  2. {
  3. "query": {
  4. "match": {
  5. " content": "java spark"
  6. }
  7. }
  8. }

单单包含java的doc也返回了,不是我们想要的结果

2、改一个数据,将一个doc的content设置为恰巧包含java spark这个短语,以方便搜索

POST /forum/article/5/_update

{

"doc": {

"content": "spark is best big data solution based on scala ,an programming language similar to java spark"

}

}

   

3、match_phrase语法

   

GET /forum/article/_search

{

"query": {

"match_phrase": {

"content": "java spark"

}

}

}

   

结果只返回了最后我们修改的那个doc,只包含java或spark的doc不会返回

   

三、match_phrase的原理

   原理不想了解的童鞋可以忽略。

1、理解term position

es分词器在分词做倒排索引时,会记录下每个分词在对应的doc中的位置(position)

比如有下面两个doc>

doc1:hello world, java spark                

doc2:hi, spark java                                

做倒排索引时:

hello                 doc1(0)                

wolrd                doc1(1)

java                   doc1(2)  doc2(2)

spark                doc1(3)  doc2(1)

()中表示位置。可以通过以下语句进行查看。

   

GET _analyze

{

"text": "hello world, java spark",

"analyzer": "standard"

}

2、match_phrase的基本原理

   

match_phrase执行过程:

1.如match搜索一样进行分词,

2.对分词后的单词到field中去进行搜索。这一步返回每个单词对应的doc,并返回这些单词在对应的doc中的位置,

3.对返回的doc进行第一步的筛选,找到每个单词都在同一个field的doc。

4.对第3步进行筛选后的doc进行再一次的筛选,选回位置符合要求的doc。比如,对于match_phrase,就是找到后一个单词的位置比前一个单词的位置大1。

5.proximity match原理一样,只是第四位对位置进行筛选时的方法不同。


math_phrase 集合slop


   
   
  1. GET /my_index/my_type/_ search
  2. {
  3. "query": {
  4. "match_phrase": {
  5. "title": {
  6. "query": "quick fox",
  7. "slop": 1
  8. }
  9. }
  10. }
  11. }

slop参数告诉match_phrase查询词条能够相隔多远时仍然将文档视为匹配。相隔多远的意思是,你需要移动一个词条多少次来让查询和文档匹配。

5.Match - Multi_match

参考:https://www.elastic.co/guide/cn/elasticsearch/guide/current/multi-match-query.html

 

 

6.Query_String

和match_phrase区别的是,query_string查询text类型字段,不需要连续,顺序还可以调换。

7、实际案例参考


   
   
  1. GET /sw_ws_gd/_search
  2. {
  3. "from": 0,
  4. "size": 500,
  5. "query": {
  6. "bool": {
  7. "must": [
  8. {
  9. "bool": {
  10. "must": [
  11. {
  12. "bool": {
  13. "should": [
  14. {
  15. "bool": {
  16. "must": [
  17. {
  18. "bool": {
  19. "should": [
  20. {
  21. "multi_match": {
  22. "query": "中介",
  23. "fields": [
  24. "bgbc_content^2.0",
  25. "bycm_content^2.0",
  26. "case_code^2.0",
  27. "case_title^2.0",
  28. "dsrxx_content^2.0",
  29. "flyj^2.0",
  30. "jbxx_content^2.0",
  31. "sljg_content^2.0",
  32. "wsnr^2.0",
  33. "ygsc_content^2.0"
  34. ],
  35. "type": "phrase",
  36. "operator": "OR",
  37. "slop": 0,
  38. "prefix_length": 0,
  39. "max_expansions": 50,
  40. "minimum_should_match": "40%",
  41. "tie_breaker": 0.3,
  42. "zero_terms_query": "NONE",
  43. "auto_generate_synonyms_phrase_query": true,
  44. "fuzzy_transpositions": true,
  45. "boost": 1
  46. }
  47. },
  48. {
  49. "multi_match": {
  50. "query": "å±…é—´",
  51. "fields": [
  52. "bgbc_content^1.0",
  53. "bycm_content^1.0",
  54. "case_code^1.0",
  55. "case_title^1.0",
  56. "dsrxx_content^1.0",
  57. "flyj^1.0",
  58. "jbxx_content^1.0",
  59. "sljg_content^1.0",
  60. "wsnr^1.0",
  61. "ygsc_content^1.0"
  62. ],
  63. "type": "phrase",
  64. "operator": "OR",
  65. "slop": 0,
  66. "prefix_length": 0,
  67. "max_expansions": 50,
  68. "minimum_should_match": "40%",
  69. "tie_breaker": 0.3,
  70. "zero_terms_query": "NONE",
  71. "auto_generate_synonyms_phrase_query": true,
  72. "fuzzy_transpositions": true,
  73. "boost": 1
  74. }
  75. }
  76. ],
  77. "adjust_pure_negative": true,
  78. "boost": 1
  79. }
  80. }
  81. ],
  82. "adjust_pure_negative": true,
  83. "boost": 1
  84. }
  85. }
  86. ],
  87. "adjust_pure_negative": true,
  88. "boost": 1
  89. }
  90. }
  91. ],
  92. "adjust_pure_negative": true,
  93. "boost": 1
  94. }
  95. },
  96. {
  97. "bool": {
  98. "adjust_pure_negative": true,
  99. "boost": 1
  100. }
  101. }
  102. ],
  103. "filter": [
  104. {
  105. "bool": {
  106. "adjust_pure_negative": true,
  107. "boost": 1
  108. }
  109. }
  110. ],
  111. "adjust_pure_negative": true,
  112. "boost": 1
  113. }
  114. },
  115. "_source": {
  116. "includes": [
  117. "case_code",
  118. "case_title"
  119. ],
  120. "excludes": []
  121. },
  122. "track_total_hits": 2147483647
  123. }

 

  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ES (Elasticsearch) 是由 Elasticsearch 公司提供的开源全文搜索及分析引擎,它基于 Lucene,用于构建高性能、分布式的大数据处理系统。ES 支持实时询,并能高效地处理大量的日志、事件流和其他实时数据源。下面是一些常用的 ES 询语句及其解释: ### 1. **基本搜索询** 基础的全文搜索语句,找包含指定关键字的所有文档。 ```json GET /index_name/_search { "query": { "match": { "field_name": "keyword" } } } ``` 这里 `index_name` 是索引名称,`field_name` 是需要搜索的字段名,`keyword` 是你要搜索的关键字。 ### 2. **范围询** 用于询特定范围内值的记录。 ```json GET /index_name/_search { "query": { "range": { "numeric_field": { "gt": 5, "lt": 10 } } } } ``` 在这个例子中,我们询 `numeric_field` 字段大于5且小于10的记录。 ### 3. **聚合询** 聚合询用于对结果集进行统计汇总。 ```json GET /index_name/_search { "aggs": { "my_aggregation": { "terms": { "field": "category", "size": 10 }, "aggs": { "average_price": { "avg": { "field": "price" } } } } } } ``` 这个询会将所有文档按照 `category` 字段分组,并计算每个类别下平均价格。 ### 4. **过滤询** 用于进一步缩小搜索结果的条件筛选。 ```json GET /index_name/_search { "query": { "bool": { "must": [ {"term": { "status": "active" }}, {"range": {"timestamp": { "gte": "2021-01-01T00:00:00Z", "lte": "2021-12-31T23:59:59Z" }}} ] } } } ``` 此询将只返回状态为“active”且时间戳在2021年之间的文档。 ### 5. **高亮显示询** 用于突出显示询匹配到的结果。 ```json GET /index_name/_search { "highlight": { "pre_tags": ["<strong>"], "post_tags": ["</strong>"], "fields": { "title": {} } }, "query": { "match": { "title": "keyword" } } } ``` 这将在搜索结果的 `title` 字段中高亮显示匹配的关键字。 ### 相关问题: 1. **如何优化 ES 性能?** 2. **ES 的索引是如何工作的?** 3. **在实际项目中如何安全地利用 ES 进行大规模数据检索?**
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值