elasticsearch 查询操作 （学习自己做点笔记）

最新推荐文章于 2024-04-08 03:02:06 发布
最新推荐文章于 2024-04-08 03:02:06 发布
阅读量673 收藏 1
点赞数
分类专栏： Elasticsearch Java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q1182614883/article/details/114417115
版权

索引twitter中put _id 为1的如果存在则更新_id为1的，不存在则添加_id为1的文档

PUT twitter/_doc/1
{
  "user": "GB",
  "uid": 1,
  "city": "Beijing",
  "province": "Beijing",
  "country": "China"
}

POST twitter/_doc/1
{
  "user": "GB",
  "uid": 1,
  "city": "Beijing",
  "province": "Beijing",
  "country": "China"
}


如果已经文档已经存在，则抛出异常，不存在则添加

PUT twitter/_create/1
{
  "user": "GB",
  "uid": 1,
  "city": "Beijing",
  "province": "Beijing",
  "country": "China"
}

上面的命令与当前命令的效果是一样的,op_type的值必须是index，create,其他值会抛出异常

PUT twitter/_doc/1?op_type=create
{
  "user": "GA",
  "uid": 1,
  "city": "Beijing",
  "province": "Beijing",
  "country": "China"
}

插入数据时不定义Id，则es自动会生成一个id .必须使用post,使用put会报错

POST my-index/_doc
{
  "user": "GA",
  "uid": 1,
  "city": "Beijing",
  "province": "Beijing",
  "country": "China"
}
#此命令会报错
PUT my-index/_doc
{
  "user": "GA",
  "uid": 1,
  "city": "Beijing",
  "province": "Beijing",
  "country": "China"
}

查看twitter索引下的id为1的文档

GET twitter/_doc/1
#参看twitter索引下_id为1的_source部分
GET twitter/_doc/1/_source
#在es7之后，在tyoe最终要被废弃的情况下，使用如下命令获取_source
GET twitter/_source/1

PUT twitter/_doc/2
{
  "user" : "双榆树-张三",
  "message" : "今儿天气不错啊，出去转转去",
  "uid" : 2,
  "age" : 20,
  "city" : "北京",
  "province" : "北京",
  "country" : "中国",
  "address" : "中国北京市海淀区",
  "location" : {
    "lat" : "39.970718",
    "lon" : "116.325747"
  }
}
#只查询_id为2的_source字段中的city,age,province
GET twitter/_source/2?_source=city,age,province

一次性请求多个文档，docs为数组格式,_source可以指定获取_source的部分字段

GET _mget
{
  "docs": [
    {
      "_index": "twitter",
      "_id": 1,
      "_source": [
        "user",
        "city"
      ]
    },
    {
      "_index": "twitter",
      "_id": 2,
      "_source": [
        "user",
        "city"
      ]
    }
  ]
}
#批量id查询文档，是上面的简化版
GET twitter/_mget
{
  "ids":[1,2]
}

使用这种方式来更新文档的话会将数据全部覆盖，如果我们只修改其中某几个字段的话，这种方式就会显得不太方便

PUT twitter/_doc/1
{
  "user": "GB",
  "uid": 1,
  "city": "Beijing",
  "province": "Beijing",
  "country": "China"
}
#使用post _update 更新少量字段
POST twitter/_update/1
{
  "doc": {
    "user": "AB",
    "uid": 1
  }
}

GET twitter/_doc/1

#如果我们不知道文档的id,应该如何修改呢.就像关系型数据库那样.根据条件进行修改，es也提供了这样的接口
# query 构建查询条件,script确定要修改的字段和修改的值

POST twitter/_update_by_query
{
  "query":{
    "match":{
      "user":"AB"
    }
  },
  "script":{
    "source":"ctx._source.city = params.city;ctx._source.uid=params.uid;",
    "long":"painless",
    "params":{
      "city":"22",
      "uid":3
      
    }
  }
}

如果字段名为中文，修改的话需要一个中括号并 escape 引号的方式来操作。

PUT my_china_index/_doc/1
{
  "签到状态":"已签到",
   "地点":"上海"
}
GET my_china_index/_doc/1
POST my_china_index/_update_by_query
{
  "query":{
    "match":{
       "地点":"上海"
    }
  },
  "script":{
    "source":"ctx._source[\"签到状态\"]=params[\"签到状态\"]",
    "long":"painless",
    "params":{
      "签到状态":"未签到"
    }
  }
}

 使用_update接口使用ctx['_op'] 来达到删除一个文档的目的

GET twitter/_doc/1
POST twitter/_update/1
{
  "script": {
    "source": """
    if(ctx._source.uid==3){
      ctx.op='delete'
    }else{
      ctx.op='none'
    }
    """,
    "lang" : "painless"
  }
}

doc_as_upsert 开启存在则更新，不存在新增，upsert则是不存在新增时所添加的字段

GET twitter/_doc/4
POST twitter/_update/4
{
  "doc": {
    "user" : "GB",
    "uid" : 2,
    "city" : "Beijing",
    "province" : "Beijing",
    "country" : "China"
  },
  "upsert":{
    "user":"ab"
  }
}
#检查文档的存在
HEAD twitter/_doc/1
#删除文档
DELETE twitter/_doc/1

根据条件删除

GET twitter/_mget
{
  "ids": [
    "1",
    "2",
    "3",
    "4"
  ]
}

POST twitter/_delete_by_query
{
  "query": {
    "match": {
      "user":"GB"
    }
  }
}

批量处理数据（index可以更新和创建，update只更新，create只创建。delete删除）

POST _bulk
{"index":{"_index":"twitter","_id":1}}
{"user":"双榆树-张三","message":"今儿天气不错啊，出去转转去","uid":2,"age":20,"city":"北京","province":"北京","country":"中国","address":"中国北京市海淀区","location":{"lat":"39.970718","lon":"116.325747"}}
{"index":{"_index":"twitter","_id":2}}
{"user":"东城区-老刘","message":"出发，下一站云南！","uid":3,"age":30,"city":"北京","province":"北京","country":"中国","address":"中国北京市东城区台基厂三条3号","location":{"lat":"39.904313","lon":"116.412754"}}
{"index":{"_index":"twitter","_id":3}}
{"user":"东城区-李四","message":"happy birthday!","uid":4,"age":30,"city":"北京","province":"北京","country":"中国","address":"中国北京市东城区","location":{"lat":"39.893801","lon":"116.408986"}}
{"index":{"_index":"twitter","_id":4}}
{"user":"朝阳区-老贾","message":"123,gogogo","uid":5,"age":35,"city":"北京","province":"北京","country":"中国","address":"中国北京市朝阳区建国门","location":{"lat":"39.718256","lon":"116.367910"}}
{"index":{"_index":"twitter","_id":5}}
{"user":"朝阳区-老王","message":"Happy BirthDay My Friend!","uid":6,"age":50,"city":"北京","province":"北京","country":"中国","address":"中国北京市朝阳区国贸","location":{"lat":"39.918256","lon":"116.467910"}}
{"index":{"_index":"twitter","_id":6}}
{"user":"虹桥-老吴","message":"好友来了都今天我生日，好友来了,什么 birthday happy 就成!","uid":7,"age":90,"city":"上海","province":"上海","country":"中国","address":"中国上海市闵行区","location":{"lat":"31.175927","lon":"121.383328"}}

#查询全部文档
POST twitter/_search
#查询数量
GET twitter/_count
GET twitter/_search?size=2&from=2

GET twitter/_search
{
  "query": {
    "match": {
      "user": "刘吴"
    }
  },
  "aggregations":{
    "top_authors":{
      "terms": {
        "field": "author"
      }
    }
  }
}

搜索全部文档，但只返回前1

GET /_search?size=1
#搜索义twit开头的索引
POST /twit*/_search

通过filter_path 来筛选要展示的字段

GET twitter/_search?filter_path=hits.hits._index
GET twitter/_search?filter_path=hits.hits
{
  "_source":["user","city"],
  "query": {
    "match_all": {
      
    }
  }
}

GET twitter/_search
{
  "query": {
    "match": {
      "user": "张"
    }
  }
}

GET twitter/_search
{
  "_source":{
    "includes": ["use*"],
    "excludes": ["u*"]
  } , 
  "query": {
    "match_all": {}
  }
}
GET twitter/_search
{
  "script_fields": {
    "years_to_100": {
      "script": {
        "lang": "painless",
        "source": "100-params._source.age"
      }
    }
  }
}
GET twitter/_search
{
  "script_fields": {
    "years_to_100": {
      "script": "100-params._source.age"
    }
  }
}

GET twitter/_count
{
  "query": {
    "match": {
      "city": "北京"
    }
  }
}

修改settings

GET my_index_shard/_settings

PUT my_index_shard
{
  "settings": {
    "number_of_replicas": 5,
    "number_of_shards": 2
  }
}

修改mapping

DELETE twitter
PUT twitter
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 1
  }
}

GET twitter/_mapping
GET twitter/_search
{
  "query": {
    "match": {
      "city": "北京"
    }
  }
}
GET twitter/_search
{
  "query": {
    "script": {
      "script":{
        "source": "doc['city.keyword'].contains(params.name)",
        "lang": "painless", 
        "params": {
          "name":"北京"
        }
      }
    }
  }
}

将_score过滤 city=北京 代表模糊搜索，city.keyword=北京代表精确搜索

GET twitter/_search
{
  "query": {
    "bool": {
      "filter":{
        "term": {
          "city.keyword": "北京"
        }
      }
      
    }
  }
}

minimum_should_match 标识最少匹配3个字及以上才可以匹配,operator默认为or

GET twitter/_search
{
  "query": {
    "match": {
      "user": {
        "query": "朝阳区-老贾",
        "operator": "or",
        "minimum_should_match": 3
      }
    }
  }
}

 "operator": "and" 代表 query条件要全部匹配

GET twitter/_search
{
  "query": {
    "match": {
      "user": {
        "query": "朝阳区-老贾",
        "operator": "and"
      }
    }
  }
}

在多个字段中匹配‘朝阳’， address^3 将address 含有“朝阳”的权重*3倍，权重在前的先显示 _score

POST twitter/_search
{
  "query": {
    "multi_match": {
      "query": "朝阳",
      "fields": [
        "user",
        "address^3",
        "message"
        ],
        "type": "best_fields"
    }
  }
}

查询user 前缀为朝的文档

POST twitter/_search
{
  "query": {
    "prefix": {
      "user": {
        "value": "朝"
      }
    }
  }
}

使用term查询text类型存储的中文，会因为默认分词器的原因导致中文查询不到

POST twitter/_search
{
  "query": {
    "term": {
      "user.keyword": {
        "value": "朝阳区-老贾"
      }
    }
  }
}
#使用terms精确匹配
POST twitter/_search
{
  "query": {
    "terms": {
      "user.keyword": [
        "朝阳区-老贾",
        "东城区-老刘"
      ]
    }
  }
}

PUT /job-candidates
{
  "mappings": {
    "properties": {
      "name": {
        "type": "keyword"
      },
      "programming_languages": {
        "type": "keyword"
      },
      "required_matches": {
        "type": "long"
      }
    }
  }
}
 
PUT /job-candidates/_doc/1?refresh
{
  "name": "Jane Smith",
  "programming_languages": [ "c++" ],
  "required_matches": 2
}
 
 
PUT /job-candidates/_doc/2?refresh
{
  "name": "Jason Response",
  "programming_languages": [ "java", "php" ],
  "required_matches": 2
}

定义匹配的数量

GET /job-candidates/_search
{
  "query": {
    "terms_set":{
      "programming_languages":{
        "terms":[ "c++", "java", "php" ],
        "minimum_should_match_field":"required_matches"
        
      } 
    }
  }
}

GET /job-candidates/_search
{
  "query": {
    "terms_set": {
      "programming_languages": {
        "terms": [
          "c++",
          "java",
          "php"
        ],
        "minimum_should_match_script": {
          "source": "2"
        }
      }
    }
  }
}

复合查询

POST /_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "city":"北京"
          }
        },
        {
          "match": {
            "age": "30"
          }
        }
      ]
    }
  },
  "explain" : true
}

POST twitter/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "match": {
            "city":"北京"
          }
        }
      ]
    }
  }
}

must的条件必须满足，should可以满足也可以不满足 条件满足排名在前

POST /_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "age": "30"
          }
        }
      ],
      "should": [
        {
          "match_phrase": {
             "message": "birthday"
          }
        }
      ]
    }
  }
}

进行位置查询 geo_distance 排序

POST twitter/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "address": "北京"
          }
        }
      ]
    }
  },
  "post_filter": {
    "geo_distance": {
      "distance": "5km",
      "location": {
        "lat": 39.920086,
        "lon": 116.454182
      }
    }
  },
  "sort": [
    {
     "_geo_distance": {
       "location": {
        "lat": 39.920086,
        "lon": 116.454182
       },
       "order": "asc",
       "unit": "km"
     }
    }
  ]
}

范围查询排序

GET twitter/_search
{
  "query": {
    "range": {
      "age": {
        "gte": 30,
        "lte": 40
      }
    }
  },
  "sort": [
    {
      "age": {
        "order": "desc"
      }
    }
  ]
}

将存在city字段不为空的文档查询出来

GET twitter/_search
{
  "query": {
    "exists": {
      "field": "city"
    }
  }
}
#与上面相反，将city字段为空的查询出来
GET twitter/_search
{
  "query": {
    "bool": {
      "must_not": [
        {
          "exists": {
            "field": "city"
          }
        }
      ]
    }
  }
}

匹配短语允许短语之间可以有1个token "slop": 1

GET twitter/_search
{
  "query": {
    "match_phrase": {
      "message":{
        "query": "Happy birthday",
        "slop": 1
      }
    }
  }
}

陈家老二
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch批量写入，存在就更新Document记录的某个值进行累加，不存在新生成Document记录
喜欢新技术的彭英峻
07-22 2773
最近再做kafka日志消息解析后写入Es的需求，遇到一个特殊需求，需要按照sku维度对日志进行处理，以sku为唯一键，Es中存在则更新Document记录中的热度值（新热度值=原记录热度值+预更新的热度值），不存在则直接新增。 下面为批量处理代码： public void upsertHotValue(List<GoodsHotValueType> list){ if (CollectionUtils.isEmpty(list)) { ret
Elasticsearch的查询操作-学习笔记
QMxnbbb
06-28 264
ElasticSearch的各种查询操作。（通过HTTP访问ES软件）
Elasticsearch的多种查询方式_es查询(1)，2024年最新从零开始学数据结构和算法
最新发布
2401_84160325的博客
04-08 968
验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**
Elasticsearch学习--script
CelineT的博客
11-13 1912
doc['age'].value和doc['age']都能正确输出，doc['age'] * 0.9和doc['age'].value * 0.9也都不报错。，doc['age'].value和doc['age']都能正确输出，但是doc['age'] * 0.9报错。:会被加载到内存中，效率更高，更消耗内存，只允许简单类型，object和nested属于复杂类型。es源数据是map类型的，在取值的时候，要根据doc['x xx']取值。但是，painless，如果字段为空，*0.9会报错。
ElasticSearch查询时候过滤_source字段
yuke的专栏
01-03 8978
进行DSL查询过程有个需求，需要将_source数据当中key小于10的字段取出来，过滤掉大于等于10的。 所以就用了es的script，需要在elasticsearch.yml的配置里加入这几个： script.engine.groovy.inline.aggs: true script.engine.groovy.inline.update: false script.engine.gro
elasticsearch: script查询的一些简单用法
qq_39198749的博客
05-23 2288
script字段值过滤 查询indexName索引中，name==‘测试’ && fieldName字段值的长度>2的文档 GET /indexName/_search { "query": { "bool": { "must": [ { "match_phrase": { "name": "测试" } }, { "script":
ElasticSearch学习笔记
10-29
ElasticSearch学习笔记 ElasticSearch是基于Apache Lucene的搜索和数据分析引擎，提供了RESTful API用于数据的索引、搜索和分析。本笔记将对ElasticSearch的基本概念、架构、应用场景和实现细节进行详细介绍。 一...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
ElasticSearch学习笔记1
08-08
ElasticSearch学习笔记1 ElasticSearch是基于Lucene的搜索服务器，它提供了高性能的全文搜索功能，支持开箱即用的集群化扩展。ElasticSearch可以通过标准的REST API或特定于编程语言的客户端库与之交互。 一、什么...
elasticsearch学习笔记
03-22
Elasticsearch学习笔记 Elasticsearch(以下简称ES)是当前最流行的搜索引擎之一，本文旨在通过对ES的基本操作和查询语法的介绍，帮助读者快速入门和精通ES。 批量操作 ES提供了多种批量操作方式，包括通过GET _...
谷粒商城学习完成版pdf笔记，微服务分布式电商项目
03-23
谷粒商城学习完成版pdf笔记，微服务分布式电商项目。主要包含SpringBoot，微服务介绍，项目搭建，vue讲解，webpack，elasticsearch，RabbitMQ，用户注册，授权，支付等操作具体细节见文档。
Elasticsearch7.x——操作文档API详解
吴声子夜歌的博客
10-15 610
目录操作文档单文档API1、Index API1.1、自动创建索引（action.auto_create_index）1.2、强制创建（op_type）1.3、ID自动生成1.4、路由（routing）1.5、分发1.6、超时（time）1.7、等待活动分片1.8、detect——noop参数2、Get API2.1、实时性（realtime）2.2、字段选择（_source）2.3、存储字段（stored_fields）2.4、路由（routing）2.5、preference参数2.6、refresh参
Elastic Search常见的操作
大树叶 技术专栏
05-21 1060
一：索引相关 1，创建索引 (1) PUT /majian_index/ { "settings":{ "index":{ "number_of_shards":3, "number_of_replicas":0 } } } 2）创建索引的同时手动创建mapping（一般添加数据的时候，mapping可以自动创建,_routing 表示自定义路由，默认是以id为路由，只有在特殊用法的情况下才需...
ElasticSearch的Script逻辑查询
ywb201314的专栏
07-11 1245
———————————————— 版权声明：本文为CSDN博主「CTO修炼手册」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/Prepared/article/details/102893852在使用 ES 进行统计的时候，经常会用到查询某个小时的统计数据，比如统计每个小时的数据；比如计算早晚高峰的数据。这些场景都可以使用 script 进行查询、统计。ES 语句 这个属性能取哪些值，取
es数据频繁的更新_es之文档更新过程中并发冲突问题
weixin_31514917的博客
12-31 3040
1：乐观锁控制ES是分布式的，也是异步并发的，我们的复制请求是并行发送的；这就意味着请求到达目的地的顺序是不可控制的，是乱序的；如果是乱序的方式，很有可能出现这样的一个问题，新version的文档被旧version的文档覆盖掉—-数据丢失,或者直接抛异常；TransportClient client = null;​@Beforepublic void testConn(){​try {Setti...
elasticsearch high level API 使用示例
koukan3的博客
08-27 5246
<dependencies> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</arti...
ElasticSearch之script语法使用
勤于笔记，成于点滴。
07-26 4499
script参数能够自由定义需要比较运算的字段
Java之ES之文档有则更新无则新增
清风自来
10-09 4718
下面继续来记录和更新ES相关操作： 与数据库的更新操作类似，es同样也有有则更新无则插入的操作，如下所示： public class ElasticSearchUtils { //有则更新，无则插入 public void upsertDemo(TransportClient client) { try { IndexRequest indexRequest = new IndexR...
ElasticSearch 文档操作(第四章)
braverlionet的博客
04-04 307
ElasticSearch 目前也算是非常火了，站内搜索、日志分析都会用到它，而且还可以直接当成 NoSQL 数据库来使用。 接下来，我们就通过下面这个简单介绍，开启 es 之旅吧～ 公众号 : 倔强小狮子 文章目录公众号 : 倔强小狮子1. 新建文档2. 获取文档3. 文档更新4. 文档新增字段5. 查询更新 1. 新建文档 先进行创建 index, 当创建文档时索引如果不存在ElasticSearch会进行创建当前 index POST index/_doc/id POST lion.
elasticsearch 学习笔记
08-19
elasticsearch 学习笔记包括以下内容: 一、Elasticsearch概述: - Elasticsearch是一种开源的分布式搜索和分析引擎，可以用于快速搜索、分析和存储大量的结构化和非结构化数据。 - Elasticsearch与Solr相比有一些...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值