ElasticSearch安装和API操作

已于 2023-11-30 20:09:31 修改
阅读量1.8k 收藏
点赞数
文章标签： ElasticSearch query DSL update delete
于 2019-10-05 17:38:34 首次发布
码字不易，转载请附原链，搬砖繁忙回复不及时见谅，技术交流请加QQ群：909211071，或关注微信公众号：程序猿AirGo
本文链接：https://blog.csdn.net/why444216978/article/details/102158738
版权

为什么用ES

简单说就是ES通过分词和倒排索引，专门处理关键字搜索场景，可以参考这篇文章：MySQL和Lucene索引对比分析 - 阿凡卢 - 博客园

入门推荐：Introduction 本书简介 · Elasticsearch Reference CN

进阶还是需要看官方文档：Query and filter context | Elasticsearch Guide [master] | Elastic

Go：GitHub - elastic/go-elasticsearch: The official Go client for Elasticsearch

ElasticSearch-PHP：快速开始 | Elasticsearch-PHP | Elastic

安装运行

下载：Download Elasticsearch | Elastic

安装：将解压后的文件夹移动到/usr/local/elasticsearch

启动：nohup ./elasticsearch -Ecluster.name=why_cluster -Enode.name=why_node

概念解析

Relational DB -> Databases -> Tables -> Rows -> Columns
Elasticsearch -> Indices   -> Types  -> Documents -> Fields
  • node：节点，一个es实例代表一个节点
  • 分布式集群：es是分布式数据库，多个node组成一个集群
  • index：一个node有多个index，可以理解为index为database
  • type：table
  • document：row
  • field：column

日志文件

大部分日志文件都有log和json两种格式：

-rw-r--r--   1 why  staff        0 10  5 16:45 why_cluster_deprecation.log
-rw-r--r--   1 why  staff        0 10  5 16:45 why_cluster_audit.json
-rw-r--r--   1 why  staff        0 10  5 16:45 why_cluster_deprecation.json
-rw-r--r--   1 why  staff        0 10  5 16:45 why_cluster_index_indexing_slowlog.log
-rw-r--r--   1 why  staff        0 10  5 16:45 why_cluster_index_search_slowlog.log
-rw-r--r--   1 why  staff        0 10  5 16:45 why_cluster_index_search_slowlog.json
-rw-r--r--   1 why  staff        0 10  5 16:45 why_cluster_index_indexing_slowlog.json
-rw-r--r--   1 why  staff    35210 10  5 16:57 why_cluster_server.json
-rw-r--r--   1 why  staff    19243 10  5 16:57 why_cluster.log
-rw-r--r--   1 why  staff   285078 10  5 17:13 gc.log

启动日志文件：

  • why_cluster.log
  • why_cluster_server.log

慢查询日志文件：

  • why_cluster_index_search_slowlog.log
  • why_cluster_index_search_slowlog.json

慢查询索引文件：

  • why_cluster_index_indexing_slowlog.log
  • why_cluster_index_indexing_slowlog.json

查询日志文件：

  • gc.log：

   每有一次客户端查询，会看到一个java偏向锁相关的Cleanup记录

[2019-10-05T09:36:16.804+0000][57933][safepoint    ] Application time: 2.0066631 seconds
[2019-10-05T09:36:16.804+0000][57933][safepoint    ] Entering safepoint region: Cleanup
[2019-10-05T09:36:16.804+0000][57933][safepoint    ] Leaving safepoint region
[2019-10-05T09:36:16.804+0000][57933][safepoint    ] Total time for which application threads were stopped: 0.0002716 seconds, Stopping threads took: 0.0000905 seconds

RESTful API

前言：参数的pretty参数是为了格式化显示

创建index

curl -XPUT 'localhost:9200/why_index?pretty'     -H 'Content-Type:application/json' -d '
{
  "settings": {
    "number_of_shards": 1, //分片
    "number_of_replicas": 0 //副本
  },
  "analysis": {
    "ik_max_word": {
      "tokenizer": "ik_max_word" //分词器
    }
  },
  "mappings": {
    "properties": {
      "code": {
        "type": "keyword"
      },
      "name": {
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "age": {
        "type": "long"
      },
      "content": {
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "is_del": {
        "type": "boolean"
      },
      "create_time": {
        "type": "date"
      },
      "section_id_list": {
        "type": "long"
      }
    }
  }
}
'

响应：
 {
      "acknowledged" : true,
      "shards_acknowledged" : true,
      "index" : "why_index"
    }

查看index

curl -XGET 'localhost:9200/_cat/indices?v&pretty'
health status index     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   why_index wA5gizTmT7GuUmDzvEcYqg   5   1          0            0      1.1kb          1.1kb

设置index的mappings

ES 15 - Elasticsearch的数据类型 (text、keyword、date、object、geo等) - 瘦风 - 博客园

curl -XPOST 127.0.0.1:9200/why_index/why_type/_mapping?pretty -H 'Content-Type:application/json' -d '
{
  "why_type": {
    "properties": {
      "code": {
        "type": "keyword" //不需要分词，需要全匹配、排序的
      },
      "name": {
        "type": "text", //需要分词
        "analyzer": "ik_max_word" //指定分词器
      },
      "age": {
        "type": "long"
      },
      "content": {
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "is_del": {
        "type": "boolean"
      },
      "create_time": {
        "type": "date"
      },
      "relations":{  
         "properties":{  
            "section_id_list": {
                "type": "long" //es默认使用整型数组存储整型
            }
         }
      }
      
    }
  }
}
'

响应：
{
  "acknowledged" : true
}

添加字段

添加新字段：
curl -XPOST 127.0.0.1:9200/why_index/why_type/_mapping?pretty -H 'Content-Type:application/json' -d '
{
    "properties": {
        "review_type": {
            "type": "keyword"
        },
        "tagList": {
            "type": "nested",
            "properties": {
                "key": {
                    "type": "keyword"
                },
                "level": {
                    "type": "long"
                },
                "showTag": {
                    "type": "text",
                    "analyzer": "ik_max_word"
                },
                "timestamp": {
                    "type": "long"
                },
                "type": {
                    "type": "keyword"
                }
            }
        }
    }
}
'

设置默认值

为review_type设置默认值，否则存量数据无法搜索到，people为映射，PEOPLE为设置值：
curl -XPOST 127.0.0.1:9200/why_index/why_type/_update_by_query?pretty -H 'Content-Type:application/json' -d '
{
  "script": {
    "long": "painless",
    "inline": "ctx._source.review_type=params.people",
    "params": {
      "people": "PEOPLE"
    }
  }
}
'

查看index

curl -XGET http://127.0.0.1:9200/why_index?pretty
{
  "why_index": {
    "aliases": {},
    "mappings": {
      "why_type": {
        "properties": {
          "age": {
            "type": "long"
          },
          "name": {
            "type": "text"
          }
        }
      }
    },
    "settings": {
      "index": {
        "creation_date": "1580291572161",
        "number_of_shards": "1",
        "number_of_replicas": "0",
        "uuid": "dOqKdYV2T8OYHkOSaUQNEg",
        "version": {
          "created": "6080599"
        },
        "provided_name": "why_index"
      }
    }
  }
}

查看index的settings

curl -XGET http://127.0.0.1:9200/why_index/_settings?pretty
{
  "why_index" : {
    "settings" : {
      "index" : {
        "creation_date" : "1580291572161",
        "number_of_shards" : "1",
        "number_of_replicas" : "0",
        "uuid" : "dOqKdYV2T8OYHkOSaUQNEg",
        "version" : {
          "created" : "6080599"
        },
        "provided_name" : "why_index"
      }
    }
  }
}

查看index的mappings

curl -XGET http://127.0.0.1:9200/why_index/_mappings?pretty
{
  "why_index" : {
    "mappings" : {
      "doc" : {
        "properties" : {
          "age" : {
            "type" : "long"
          },
          "name" : {
            "type" : "text",
            "fields" : {
              "keyword" : {
                "type" : "keyword",
                "ignore_above" : 256
              }
            }
          }
        }
      }
    }
  }
}

删除index

curl -XDELETE http://127.0.0.1:9200/why_index?pretty
{
  "acknowledged" : true
}

根据id添加或更新document

curl -XPUT 'localhost:9200/why_index/doc/1?pretty' -H 'Content-Type:application/json' -d '{"name":"why", "age":18}'
{
  "_index" : "why_index",
  "_type" : "doc",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

直接插入document

注意：生产环境一般都会根据mysql的主键id插入，直接插入会根据base64算法自动生成id，此时无法根据id查询

执行两次，由于2次自动生成不同的_id，所以会有两条name和age相同的记录：
-XPOST 'localhost:9200/why_index/doc?pretty' -H 'Content-Type:application/json' -d '{"name":"why", "age":18}'

-XPOST 'localhost:9200/why_index/doc?pretty' -H 'Content-Type:application/json' -d '{"name":"why", "age":18}'

根据id查询某个document

// 1为_id
curl -XGET 'localhost:9200/why_index/doc/1?pretty

通过url传参query查询

查询name包含why的记录，并按照_id降序排列：
curl -XGET 'localhost:9200/why_index/_search?q=name:why&sort=_id:desc&pretty'

通过DSL语句查询

这大概是最全的ElasticSearch能满足日常开发的DSL组合了_AirGo.的博客-CSDN博客_dsl filler

curl -XGET 'localhost:9200/why_index/_search?pretty' -H 'Content-Type:application/json' -d '
{
  "query": {
    "bool": {
      "filter": {
        "bool": {
          "must": [
            {
              "terms": {
                "relations.section_id_list": [
                  1
                ]
              }
            }
          ],
          "should": [
            {
              "match": {
                "name": {
                  "query": "WHY",
                  "operator": "OR"
                }
              }
            }
          ]
        }
      },
      "should": [
        {
          "multi_mach": {
            "analyzer": "ik_max_word",
            "fields": ["title", "content"],
            "operator": "OR",
            "query": "关键字"
          }
        },
        {
          "match": {
            "name": "WHY"
          }
        }
      ],
      "minimum_should_match": 1
    }
  },
  "sort": [
    {
      "create_time": {
        "order": "desc",
        "unmapped_type": "long"
      }
    }
  ],
  "from": 0,
  "size": 10
}
'

根据id修改数据

curl -XPOST 'localhost:9200/why_index/doc/1/_update?pretty' -H 'Content-Type:application/json' -d '
{
    "doc":{
        "name":"weihaoyu"
    }
}'

响应：
{
  "_index" : "why_index",
  "_type" : "doc",
  "_id" : "1",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 2,
  "_primary_term" : 1
}

根据id删除

删除id为3的记录：
curl -XDELETE 'localhost:9200/why_index/doc/3?pretty'
{
  "_index" : "why_index",
  "_type" : "doc",
  "_id" : "3",
  "_version" : 2,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 8,
  "_primary_term" : 1
}

删除符合条件的document

curl -XPOST 'localhost:9200/why_index/_delete_by_query?pretty' -H 'Content-Type:application/json' -d '
{
    "query":{
        "match":{
            "name":"why"
        }
    }
}'

响应：
{
  "took" : 85,
  "timed_out" : false,
  "total" : 2,
  "deleted" : 2,
  "batches" : 1,
  "version_conflicts" : 0,
  "noops" : 0,
  "retries" : {
    "bulk" : 0,
    "search" : 0
  },
  "throttled_millis" : 0,
  "requests_per_second" : -1.0,
  "throttled_until_millis" : 0,
  "failures" : [ ]
}

批量操作

更新id为3的数据、根据id=2更新插入数据、删除id=1的数据

curl -XPOST 'localhost:9200/why_index/doc/_bulk?pretty' -H 'Content-Type:application/json' -d '
{"update":{"_id":3}}
{"doc":{"name":"weihaoyu"}}
{"index":{"_id":2}}
{"name":"why","age":18}
{"delete":{"_id":1}}
'

响应：
{
  "took" : 37,
  "errors" : false,
  "items" : [
    {
      "update" : {
        "_index" : "why_index",
        "_type" : "doc",
        "_id" : "3",
        "_version" : 3,
        "result" : "updated",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 7,
        "_primary_term" : 1,
        "status" : 200
      }
    },
    {
      "index" : {
        "_index" : "why_index",
        "_type" : "doc",
        "_id" : "2",
        "_version" : 1,
        "result" : "created",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 8,
        "_primary_term" : 1,
        "status" : 201
      }
    },
    {
      "delete" : {
        "_index" : "why_index",
        "_type" : "doc",
        "_id" : "1",
        "_version" : 2,
        "result" : "deleted",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 9,
        "_primary_term" : 1,
        "status" : 200
      }
    }
  ]
}

删除index

curl -XDELETE 'localhost:9200/why_index/?pretty'
{
  "acknowledged" : true
}


再查询返回404
curl -XGET 'localhost:9200/why_index/_search?pretty' -H 'Content-Type:application/json' -d '{"query":{"match_all":{}}, "sort":{"_id":"asc"} }'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "index_not_found_exception",
        "reason" : "no such index [why_index]",
        "resource.type" : "index_or_alias",
        "resource.id" : "why_index",
        "index_uuid" : "_na_",
        "index" : "why_index"
      }
    ],
    "type" : "index_not_found_exception",
    "reason" : "no such index [why_index]",
    "resource.type" : "index_or_alias",
    "resource.id" : "why_index",
    "index_uuid" : "_na_",
    "index" : "why_index"
  },
  "status" : 404
}

AirGo.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Elasticsearch的api使用
qq_43662627的博客
08-14 380
本篇文章主要介绍Elasticsearch的java原生api使用。es的下载链接 解压启动window版本的es https://www.elastic.co/cn/downloads/elasticsearch 我使用的是es的windows版本，解压后，直接双击elasticsearch.bat，启动es。 到浏览器，输入网址 http://localhost:9200/ 出现一下界面则说明启动成功。 没啥好说导入依赖 <dependencies> <depe
Elasticsearch 搜索API
做Java整整10年，目前是教别人写代码，嘿嘿
12-24 793
该API用于在Elasticsearch中搜索内容。用户可以通过发送带有查询字符串作为参数的get请求进行搜索，或者可以在发布请求的消息正文中发布查询。搜索 api 主要是多索引、多类型的。
Go操作Elasticsearch总结
xmcy001122的专栏
09-28 1488
Go操作Elasticsearch总结 安装 参见：CentOS 7 RPM安装 Elasticsearch 7.14.1和常用插件 官方入门例子 《Elasticsearch：权威指南》“适应新环境” 通过一个例子，介绍了ES的核心概念。 我们受雇于 Megacorp 公司，作为 HR 部门新的 “热爱无人机” （“We love our drones!”）激励项目的一部分，我们的任务是为此创建一个员工目录。该目录应当能培养员工认同感及支持实时、高效、动态协作，因此有一些业务需求： 支持包含多值标签
一步步带你搭建Elasticsearch环境，还看不懂？
2301_82242670的博客
04-05 850
现在其实从大厂招聘需求可见，在招聘要求上有高并发经验优先，包括很多朋友之前都是做传统行业或者外包项目，一直在小公司，技术搞的比较简单，没有怎么搞过分布式系统，但是现在互联网公司一般都是做分布式系统。所以说，如果你想进大厂，想脱离传统行业，这些技术知识都是你必备的，下面自己手打了一份Java并发体系思维导图，希望对你有所帮助。《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》
Elasticsearch：如何部署 Elasticsearch 来满足自己的要求
Elastic 中国社区官方博客
10-19 2901
我们涉及到一些分片管理，内存管理已经分片策略的一些知识。在实际的使用中，我们该如何对 Elasticsearch 集群做正确的 sizing。我们到底需要多少内存，多少个 CPU，多少个 shards 等等。在今天的文章中，我总结一些专家的建议，希望对于正确使用 Elasticsearch 提供一些参考的意见。在实际的使用中，可能需要根据自己的使用进行调整。如果你对分片（shard）的概念不是很熟悉的话，请阅读我之前的文章 “”。
三、Elasticsearch自带API
panchang199266的博客
10-08 329
  补充：在LINUX中直接访问非GET方式网址，案例： //删除 crul -XDELETE "http://127.0.0.1:9200/..." （一）集群（Cluster）   Elasticsearch 提供了全面并且强大的REST API与集群交互。   健康     API         集群：/_cat/health?v         节点：/_cat/node...
elasticsearch java操作的api实例
09-29
包含所因的索引建立、删除、查看，批量创建索引；搜索Query、过滤器 、分组高亮显示；以及创建Mapping
基于Elasticsearch2.1.1的JavaAPI基本操作代码示例
01-22
基于Elasticsearch2.1.1的JavaAPI基本操作代码示例
elasticsearch5.5.0 的增删改查java api操作
07-14
elasticsearch5.5.0 的增删改查java api操作 支持新建mapping 根据实体类的注解方式生成 支持ik分词 支持新建index 根据实体类注解 支持删除index 增删改查操作都很详细 网上的版本大多数都是2.x的 最新的和旧的...
elasticsearch java api
12-25
根据es2.3官方api写的简单的小例子，与大家分享，各个例子都进行过Junit测试。
Elasticsearch5.x Java API手册
06-14
该资源为Elasticsearch5.x版本的java操作API手册，基本方法都可以从里面找到，有需要的程序猿可自行下载；
elasticsearch使用java api批量插入数据
qq_27242475的博客
05-02 6926
https://my.oschina.net/cjun/blog/761355
Elasticsearch给索引添加新字段并赋值（API方式）
weixin_45371233的博客
11-15 2893
Elasticsearch给索引添加新字段并赋值（API方式）
elasticsearch 通过HTTP RESTful API 操作数据
热门推荐
gmHappy
07-25 3万+
1.检查es版本信息 http://IP:9200 curl 'IP:9200   2.查看集群是否健康 http://IP:9200/_cat/health?v curl 'IP:9200/_cat/health?v' 3.查看节点列表 http://IP:9200/_cat/nodes?v curl 'IP:9200/_cat/nodes?v' 4.列出所有索引及存...
Elasticsearch入门详解(API篇)
CC_cc_Re的博客
06-11 690
Elasticsearch提供了Rest风格的API，即http请求接口 2.1基本概念 Elasticsearch也是基于Lucene的全文检索库，本质也是存储数据，很多概念与MySQL类似的。 索引库（indices)：indices是index的复数，代表许多的索引 类型（type）：类型是模拟mysql中的table概念，一个索引库下可以有不同类型的索引，比如商品索引，订单索引，其数据格式不同。不过这会导致索引库混乱，因此未来版本中会移除这个概念 文档（document）：存入索引库原始的数据。比
4.3ElasticSearch API 和操作索引和数据的增删改查
qq_43655622的博客
05-10 291
1.ElasticSearch API 和操作索引 Rest风格的API，即http请求接口 1.1 基本概念 对比关系 索引集(indexs)–Databases数据库 类型(type)—Table数据库表 文档(Document)—Row行 字段(Field)—Columns列 一个索引库里面只有一种类型的文档，对应数据库中一种类型的数据 索引集（indexs）：逻辑上的完整索引 分片（shard）：数据拆分后的各个部分 副本（replica）：每个分片的复制 1.2 创建索引 Elasticsearc
Elasticsearch 7.6 - APi基础操作篇
共勉
08-24 1074
这里重新整理了一波ES操作，分享给大家，版本还是之前的7.6，本文包含了索引、映射、文档、查询、聚合等一系列API等基本操作
WX小程序源码小游戏类
05-28
WX小程序源码小游戏类提取方式是百度网盘分享地址
grpcio-1.47.2-cp310-cp310-musllinux_1_1_x86_64.whl
最新发布
05-28
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
ElasticSearch ES REST API作用
05-24
Elasticsearch是一个分布式搜索和分析引擎，支持全文搜索、结构化搜索、分析等功能。...总之，ES REST API是Elasticsearch提供的一组强大的接口，可以方便地使用HTTP协议来操作和管理Elasticsearch的各种功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AirGo.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值