es查询和更新 语句示例

最新推荐文章于 2024-05-17 16:05:44 发布
最新推荐文章于 2024-05-17 16:05:44 发布
阅读量1k 收藏
点赞数
文章标签： ruby
原文链接：http://www.cnblogs.com/bigben0123/p/10975329.html
版权

文档目录： https://www.elastic.co/guide/index.html

GET _search
{
  "query": {
    "match_all": {}
  }
}

GET /_template/*

PUT /_template/hs_server_template
{
  "order": 0,
  "version": 60001,
  "index_patterns": [
    "hs_server*"
  ],
  "settings": {
    "index": {
      "refresh_interval": "5s"
    }
  },
  "mappings": {
    "doc": {
      "dynamic_templates": [
        {
          "message_field": {
            "path_match": "message",
            "match_mapping_type": "string",
            "mapping": {
              "type": "text",
              "norms": false
            }
          }
        },
        {
          "string_fields": {
            "match": "*",
            "match_mapping_type": "string",
            "mapping": {
              "type": "text",
              "norms": false,
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        }
      ],
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "@version": {
          "type": "keyword"
        },
        "ErrorCode": {
          "type": "integer"
        },
        "geoip": {
          "dynamic": true,
          "properties": {
            "ip": {
              "type": "ip",
              "latitude": {
                "type": "half_float"
              },
              "longitude": {
                "type": "half_float"
              }
            }
          },
          "responseLogTime": {
            "type": "date",
            "format": "yyyy-MM-dd HH:mm:ss.SSS||yyyy-MM-dd||epoch_millis||yyyy-MM-dd HH:mm:ss.SSSZ"
          }
        }
      }
    },
    "aliases": {}
  }
}

DELETE /_template/my_test_play_dur_template

PUT /_template/tv_stats_play_dur_template
{
  "order": 0,
  "version": 60001,
  "index_patterns": [
    "tv_stats_play_dur*"
  ],
  "settings": {
    "index": {
      "refresh_interval": "30s"
    }
  },
  "mappings": {
    "doc": {
      "dynamic_templates": [
        {
          "message_field": {
            "path_match": "message",
            "match_mapping_type": "string",
            "mapping": {
              "type": "text",
              "norms": false
            }
          }
        },
        {
          "string_fields": {
            "match": "*",
            "match_mapping_type": "string",
            "mapping": {
              "type": "text",
              "norms": false,
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
          }
        }
      ],
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "@version": {
          "type": "keyword"
        },
        "remote_address": {
          "type": "ip"
        },
        "duration": {
          "type": "long"
        },
        "id": {
          "type": "long"
        },
        "importbatchno": {
          "type": "keyword"
        },
        "index_name_suffix": {
          "type": "keyword"
        },
        "mac": {
          "type": "keyword"
        },
        "main_id": {
          "type": "long"
        },
        "main_name": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "sub_id": {
          "type": "long"
        },
        "sub_name": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "type_name": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "url": {
          "type": "text",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        },
        "userid": {
          "type": "long"
        },
        "versioncode": {
          "type": "keyword",
          "fields": {
            "keyword": {
              "type": "keyword",
              "ignore_above": 256
            }
          }
        }
      }
    }
  },
  "aliases": {}
}

GET /tv_stats_play_dur-2019-06-05/_search/
DELETE /my_test-2019.05.10
GET /my_test-2019.05.13/_search

#query
GET /tv_stats_play_dur*/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "root_id": 5
          }
        },
        {
          "match": {
            "sub_id": 0
          }
        }
      ],
      "must_not": [
        { "match": { "root_name": "直播" } }
      ]
    }
  }
}

#batch update or bulk update 
POST /tv_stats_play_dur*/doc/_update_by_query?conflicts=proceed
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "root_id": 5
          }
        },
        {
          "match": {
            "sub_id": 0
          }
        }
      ],
      "must_not": [
        {
          "match": {
            "root_name": "直播"
          }
        }
      ]
    }
  },
  "script": {
    "lang": "painless",
    "source": "ctx._source.root_name = params.live_name",
    "params": {
      "live_name": "直播"
    }
  }
}

# get count num of null root by root,main,sub
GET /tv_stats_play_dur-2019-06-07*/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "bool": {
      "must_not": [
        {
          "exists": {
            "field": "root_name.keyword"
          }
        }
      ]
    }
  },
  "aggs": {
    "root_id": {
      "terms": {
        "field": "root_id",
        "size": 25
      },
      "aggs": {
        "main_id": {
          "terms": {
            "field": "main_id",
            "size": 25
          },
          "aggs": {
            "sub_id": {
              "terms": {
                "field": "sub_id",
                "size": 25
              }
            }
          }
        }
      }
    }
  }
}

#root name null group by date
GET /tv_stats_play_dur-2019-06*/_search?search_type=dfs_query_then_fetch
{
  "query": {
    "bool": {
      "must_not": [
        {
          "exists": {
            "field": "root_name.keyword"
          }
        }
      ]
    }
  },
  "aggs": {
    "root_id": {
      "terms": {
        "field": "importbatchno",
        "size": 25
      }
    }
  }
}

#search by import date 
GET /tv_stats_play_dur*/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "importbatchno": 20190610
          }
        }
      ]
    }
  }
}

#delete by import date
POST /tv_stats_play_dur*/doc/_delete_by_query
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "importbatchno": 201906101
          }
        }
      ]
    }
  }
}

##########################

GET /hs_server_ahc_task*/_search
{
"query": {
"bool": {
"must": [
{
"bool": {
"should": [
{
"match": {
"LogMessage": "Error"
}
},
{
"match": {
"LogMessage": "MessagePull"
}
}
]
}
}
]
}
}
}

 

 

es同个字段，多个值搜索的案例

 类似 a_field like '%wordA%' and a_field like  '%wordB%'  
search_pdf_query = {"query": {
            "bool":
                {
                "must": [
                            {"bool": {"should":[{"match_phrase": {"pdf_title":"年度报告"}},{"match_phrase":{"pdf_title":"季度报告"}}]}}, {"range": {"announce_date": {"gte": "2017-01-01","lte": "2018-12-31"}}}, {"terms": {"html_status": ["201", "300", "301", "302"]}}, {"terms": {"trade_code.keyword": ["600548","000548"]}}], "must_not": [{"wildcard": {"origin_title.keyword": '*摘要'}},{"wildcard": {"origin_title.keyword": '*年度报告书'}}], }}, "sort": [{"announce_date": "asc"}] }

查找值包含某些文本的情况：

  1. 完全匹配情况下，对同一个字段的多个值搜索，使用terms查询,举例：
    {"terms": {"html_status": ["201", "300", "301", "302"]}}
  2. 如果不完全匹配，则在must里添加bool查询，再在bool里添加should查询,举例：
    {"bool": {"should":[{"match_phrase": {"pdf_title":"年度报告"}},{"match_phrase":{"pdf_title":"季度报告"}}]}}

如何区分使用match,match_phrase,term可参考此篇
https://blog.csdn.net/camelcanoe/article/details/79544155
这里也涉及到查询的字段是否是 NOT_ANALYZED，ANALYZED字段无法使用term，只能使用match_phrase。
所以在新建index的时候需要把mapping设置好，哪些字段是ANALYZED，哪些是NOT_ANALYZED（感觉是个坑）

转载于:https://www.cnblogs.com/bigben0123/p/10975329.html

weixin_30518397
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch更新语法
焱的博客
06-15 1154
文章目录update语法示例数值列表移除列表元素添加字段1移除字段删除文档添加字段2 update 使用指定的脚本更新文档 语法 POST /<index>/_update/<_id> 示例 添加文档test PUT /test/_doc/1 { "counter" : 1, "tags" : ["red"] } 数值 将counter加上4 POST /test/_update/1 { "script" : { "source": "ctx._source.c
ES-更新语句
caesar_shf的博客
09-06 6102
1、根据id更新 POST idx_product-fat/doc/100101/_update { "doc" : { "minPrice" : 3, "price" : 2 } } idx_product-fat 索引名称 doc type类型 10006145 id doc 文档（固定） minPrice字段名称 2、条件更新 POST idx_hippo
更新ES一条数据的部分内容
最新发布
智障儿童欢乐多
05-17 396
【代码】更新ES一条数据的部分内容。
es之_update按条件更新
tanguomin的博客
07-24 7627
一、更新文档原理： 检索并修改它，然后重新索引整个文档 1.从旧文档构建 JSON 2.更改该 JSON 3.删除旧文档 4.索引一个新文档 二、部分更新 1. POST cat/tab2/1/_update { "age":99 } 三、更新与冲突，在部分更新中，如果更新发生冲突了，我们可以尝试再次更新 retry_on_conflict这个参数可以控制再次更新次数，默认是0 POST /website/pageviews/1/_update?retry_on_conflict=5 { ...
ES常用语法（批量更新，字段间赋值）
大道至简
12-02 4089
批量更新，把一个字段更新到另一个字段上； 基于6.X 批量更新 POST twitter/_update_by_query { "script": { "source": "ctx._source.likes++", "lang": "painless" }, "query": { "term": { "user": "kimchy" } } } 字段间赋值 POST test/_doc/1/_update { "script" : "c
ElasticSearch查询语句
10-10
### ElasticSearch 查询语句详解 #### 一、概述 ElasticSearch 是一款基于 Lucene 的分布式搜索和分析引擎，适用于全文检索、结构化检索及分析等场景。它提供了丰富的 API 接口，允许用户通过简单的 RESTful 方式...
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、排序、筛选等操作。在 Java 中，我们可以使用 Elastic...
Elasticsearch官方示例：accounts.json
08-14
在官方示例中，"accounts.json"是一个包含了一系列账户数据的JSON文件，它通常被用来演示如何在Elasticsearch中索引、查询和分析结构化的JSON文档。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，...
Elasticsearch示例数据 logs.json
03-14
综上所述，`logs.json` 文件作为Elasticsearch的示例数据，展示了如何将结构化的日志数据有效地存储、查询和分析。这涉及到JSON数据的处理、Elasticsearch索引的创建、数据导入、实时查询以及借助Kibana进行数据可视...
springboot 整合elasticsearch5.5.0 示例以及简单查询
12-18
本文将详细介绍如何将SpringBoot与Elasticsearch5.5.0进行集成，并提供一个简单的查询示例。 一、SpringBoot简介 SpringBoot是Spring框架的一个模块，旨在简化Spring应用的初始搭建以及开发过程。它通过自动配置、...
es 查询语句纪实
王百林的博客
10-30 960
1.排序 {"sort":{  "title":"asc"  } } 2.聚合 {  “size”:0,  "aggs":{   "group_by_state":{    "terms":{     "field":"id",     "size":100     }   }  } } 3.查询集群中已有的模板 _template/    //查询所有的模板信
es 更新指定字段的方法
热门推荐
有趣的难受
12-30 1万+
post ip + 端口、index/_id/_udpate { "doc" : { "content" : "深圳有限公司 法人代表 断网，在《律兜互联》订单，成功支付 1000 元。" } }
KingbaseES数据库update用法
m0_61066945的博客
03-12 682
DML语言介绍与用法
ES5.0——Update API
世界中心的专栏
11-01 1780
这次我们直接实践出发，讲一下几种Update API 的使用方式 以及 修改的结果 首先建一个新的index 和 type ，并写入一些基本的测试数据 POST index/type/_bulk {"index":{"_id":1}} {"example": "data", "timestamp": "2016-06-21T18:48:55.560+0000" } {"index":{"_id
关于elasticsearch中更新大量数据的测试，分别使用根据id更新与使用updateById方法查询
qq_44535093的博客
06-24 1470
关于elasticsearch中更新大量数据的效率测试
[日志]es的增删改查
毛台
11-11 2280
参考: http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html - 维护: - 节点 - 健康 - 索引 增加/更新 索引/记录 PUT 创建索引(仅固定id) POST 创建记录(多了随机id) 获取 GET account/person/1 account/person/_search 删除
ES条件更新
teyietry的博客
10-21 5044
转载自：https://jishuin.proginn.com/p/763bfbd29466 背景 ElasticSearch 的使用度越来越普及了，很多公司都在使用。有做日志搜索的，有做商品搜索的，有做订单搜索的。 大部分使用场景都是通过程序定期去导入数据到 ElasticSearch 中，或者通过 CDC 的方式来构建索引。在这种场景下，更新数据都是单条更新，比如 ID=1 的数据发生了修改操作，那么就会把 ElasticSearch 中 ID=1 的这条数据更新下。 但有些场景下需要根据条件同时更新多
es 热更新mysql，建表语句
总结复盘，才能不迷失自己！
05-17 436
SET FOREIGN_KEY_CHECKS=0; DROP TABLE IF EXISTS `hot_stopwords`; CREATE TABLE `hot_stopwords` ( `id` int(11) NOT NULL AUTO_INCREMENT, `stopword` longtext COLLATE utf8mb4_general_ci, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=u
elasticsearch 查询语句
08-17
### 回答1： Elasticsearch 查询语句可以使用 Query DSL 进行构建。以下是一些常见的查询语句示例： 1. 匹配查询：用于匹配一个特定字段中的值。 ``` GET /_search { "query": { "match": { "title": "elasticsearch" } } } ``` 2. 短语查询：用于匹配一个特定字段中的短语。 ``` GET /_search { "query": { "match_phrase": { "title": "elasticsearch tutorial" } } } ``` 3. 范围查询：用于匹配一个特定字段中的数值范围。 ``` GET /_search { "query": { "range": { "age": { "gte": 18, "lte": 30 } } } } ``` 4. 布尔查询：用于组合多个查询条件。 ``` GET /_search { "query": { "bool": { "must": [ { "match": { "title": "elasticsearch" } }, { "match": { "description": "tutorial" } } ] } } } ``` 5. 聚合查询：用于对结果进行聚合计算。 ``` GET /_search { "aggs": { "avg_age": { "avg": { "field": "age" } } } } ``` 以上仅是一些常见的查询语句示例，Elasticsearch 还支持许多其他类型的查询。请参阅官方文档以了解更多信息。 ### 回答2： Elasticsearch 是一个开源的分布式搜索和分析引擎，它提供了强大的查询功能来检索和分析大量的数据。 Elasticsearch 查询语句可以使用 JSON 格式来构建，主要分为两种类型：查询查询语句和过滤查询语句。 查询查询语句用于根据特定的条件从索引中检索文档。常见的查询类型包括匹配查询、多字段查询、范围查询和布尔查询等。匹配查询用于在指定字段中搜索指定的词语，多字段查询可以在多个字段中搜索相同的词语，范围查询支持按照范围来搜索结果，而布尔查询则可以通过逻辑运算符组合多个查询条件。 过滤查询语句用于根据特定的条件过滤文档。与查询查询语句不同的是，过滤查询不会计算相关度分数，只关心是否匹配。常见的过滤查询类型有 term 过滤、范围过滤和 bool 过滤等。term 过滤用于精确匹配一个词语，范围过滤用于按照指定范围过滤结果，bool 过滤则可以通过逻辑运算符组合多个过滤条件。 除了查询和过滤，Elasticsearch 还支持一些聚合函数（aggregations），用于对搜索结果进行统计和分析。聚合查询可以对结果集进行分组、排序、计算总和、平均值等操作，从而提供更丰富的数据分析功能。 总之，Elasticsearch 查询语句是非常灵活和强大的，可以根据不同的需求组合不同的查询和过滤条件，实现高效的数据检索和分析。 ### 回答3： Elasticsearch是一个开源的分布式搜索和分析引擎，提供了强大的查询功能。查询语句是用户用来向Elasticsearch发送请求并获取结果的指令。 Elasticsearch的查询语句可以分为两种，一种是基于URI的查询语句，另一种是基于请求体的查询语句。 基于URI的查询语句通常用于简单的查询请求，语法类似于URL。例如，要查询名为"products"的索引下的所有文档，可以使用以下查询语句： GET /products/_search 基于请求体的查询语句更为灵活，可以实现更复杂的查询功能。请求体是一个JSON对象，包含了查询的参数和条件。以下是一个常见的基于请求体的查询语句示例： POST /products/_search { "query": { "match": { "name": "手机" } } } 上述查询语句使用了"match"查询，指定了要查询的字段为"name"，查询的关键词为"手机"。这将返回所有名为"手机"的文档。 此外，Elasticsearch还提供了许多其他类型的查询语句，包括布尔查询、范围查询、模糊查询等。用户可以根据需要选择合适的查询语句以实现精确的搜索结果。 总之，Elasticsearch的查询语句是通过URI或请求体来发送查询请求的指令，使用不同类型的查询语句可以实现不同的搜索功能。用户可以根据自己的需求选择合适的查询语句，并通过分析返回的结果来满足他们的搜索和分析需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值