ElasticSearch笔记（一）

于 2022-06-13 10:29:09 发布
阅读量174 收藏
点赞数
文章标签： elasticsearch 搜索引擎 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36905908/article/details/125222128
版权

*******************ElasticSearch笔记（一）*********************

ElasticSearch学习笔记 尚硅谷视频

Elasticsearch概述

开篇

结构化数据
在这里插入图片描述
非结构化数据
在这里插入图片描述
半结构化数据
在这里插入图片描述

简介

Elasticsearch 是什么

The Elastic Stack, 包括 Elasticsearch、 Kibana、 Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。

Elaticsearch，简称为 ES， ES 是一个开源的高扩展的分布式全文搜索引擎， 是整个 ElasticStack 技术栈的核心。

它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。

Elasticsearch入门

环境准备

官网地址：https://www.elastic.co/cn/
官方文档： https://www.elastic.co/guide/index.html
Elasticsearch 7.8.0下载页面：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-8-0
解压后的 Elasticsearch 的目录结构如下 ：

目录 用途
bin 可执行脚本
config 配置
jdk 内置 JDK
lib 类库
logs 日志
modules 模块
plugins 插件
在这里插入图片描述
解压后，进入 bin 文件目录，点击 elasticsearch.bat 文件启动 ES 服务 。

注意： 9300 端口为 Elasticsearch 集群间组件的通信端口， 9200 端口为浏览器访问的 http协议 RESTful 端口。

打开浏览器，输入地址： http://localhost:9200，测试返回结果，返回结果如下：

{
   
  "name" : "DESKTOP-LNJQ0VF",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "nCZqBhfdT1-pw8Yas4QU9w",
  "version" : {
   
    "number" : "7.8.0",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65",
    "build_date" : "2020-06-14T19:35:50.234439Z",
    "build_snapshot" : false,
    "lucene_version" : "8.5.1",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

问题

  • ElasticSearch是Java开发的，且7.8版本的ES需要JDK1.8以上，默认安装包带有JDK环境。如果系统配置JAVA_HOME,那么会使用系统配置的，如果没用则使用自带的。
  • 双击启动窗口闪退，通过路径访问追踪错误，如果是内存不足，请修改config/jvm.options配置文件
    在这里插入图片描述

客户端工具

如果直接通过浏览器向 Elasticsearch 服务器发请求，那么需要在发送的请求中包含
HTTP 标准的方法，而 HTTP 的大部分特性且仅支持 GET 和 POST 方法。所以为了能方便地进行客户端的访问，可以使用 Postman 软件Postman 是一款强大的网页调试工具，提供功能强大的 Web API 和 HTTP 请求调试。

软件功能强大，界面简洁明晰、操作方便快捷，设计得很人性化。 Postman 中文版能够发送任何类型的 HTTP 请求 (GET, HEAD, POST, PUT…)，不仅能够表单提交，且可以附带任意类型请求体。

下载地址：https://www.postman.com/downloads/

数据格式

Elasticsearch 是面向文档型数据库，一条数据在这里就是一个文档。 为了方便大家理解，我们将 Elasticsearch 里存储文档数据和关系型数据库 MySQL 存储数据的概念进行一个类比
在这里插入图片描述
ES 里的 Index 可以看做一个库，而 Types 相当于表， Documents 则相当于表的行。这里 Types 的概念已经被逐渐弱化， Elasticsearch 6.X 中，一个 index 下已经只能包含一个type， Elasticsearch 7.X 中, Type 的概念已经被删除了。

正排索引（传统）

id content
1001 my name is zhang san
1002 my name is li si

倒排索引

keyword id
name 1001, 1002
zhang 1001

基本使用

索引操作

创建索引

对比关系型数据库，创建索引就等同于创建数据库。

在 Postman 中，向 ES 服务器发 PUT 请求 ： http://127.0.0.1:9200/shopping

请求后，服务器返回响应：

{
   
    "acknowledged": true,//响应结果
    "shards_acknowledged": true,//分片结果
    "index": "shopping"//索引名称
}

后台日志：

[2021-04-08T13:57:06,954][INFO ][o.e.c.m.MetadataCreateIndexService] [DESKTOP-LNJQ0VF] [shopping] creating index, cause [api], templates [], shards [1]/[1], mappings []

如果重复发 PUT 请求 ： http://127.0.0.1:9200/shopping添加索引，会返回错误信息 :

{
   
    "error": {
   
        "root_cause": [
            {
   
                "type": "resource_already_exists_exception",
                "reason": "index [shopping/J0WlEhh4R7aDrfIc3AkwWQ] already exists",
                "index_uuid": "J0WlEhh4R7aDrfIc3AkwWQ",
                "index": "shopping"
            }
        ],
        "type": "resource_already_exists_exception",
        "reason": "index [shopping/J0WlEhh4R7aDrfIc3AkwWQ] already exists",
        "index_uuid": "J0WlEhh4R7aDrfIc3AkwWQ",
        "index": "shopping"
    },
    "status": 400
}
查询索引

查看单个索引
在 Postman 中，向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/shopping
返回结果如下：

{
   
    "shopping": {
   //索引名
        "aliases": {
   },//别名
        "mappings": {
   },//映射
        "settings": {
   //设置
            "index": {
   //设置 - 索引
                "creation_date": "1617861426847",//设置 - 索引 - 创建时间
                "number_of_shards": "1",//设置 - 索引 - 主分片数量
                "number_of_replicas": "1",//设置 - 索引 - 主分片数量
                "uuid": "J0WlEhh4R7aDrfIc3AkwWQ",//设置 - 索引 - 主分片数量
                "version": {
   //设置 - 索引 - 主分片数量
                    "created": "7080099"
                },
                "provided_name": "shopping"//设置 - 索引 - 主分片数量
            }
        }
    }
}

查看所有索引
在 Postman 中，向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/_cat/indices?v

这里请求路径中的_cat 表示查看的意思， indices 表示索引，所以整体含义就是查看当前 ES服务器中的所有索引，就好像 MySQL 中的 show tables 的感觉，服务器响应结果如下 :

health status index    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   shopping J0WlEhh4R7aDrfIc3AkwWQ   1   1          0            0       208b           208b
表头 含义
health 当前服务器健康状态： green(集群完整) yellow(单点正常、集群不完整) red(单点不正常)
status 索引打开、关闭状态
index 索引名
uuid 索引统一编号
pri 主分片数量
rep 副本数量
docs.count 可用文档数量
docs.deleted 文档删除状态（逻辑删除）
store.size 主分片和副分片整体占空间大小
pri.store.size 主分片占空间大小
删除索引

在 Postman 中，向 ES 服务器发 DELETE 请求 ： http://127.0.0.1:9200/shopping

返回结果如下：

{
   
    "acknowledged": true
}

再次查看所有索引，GET http://127.0.0.1:9200/_cat/indices?v，返回结果如下：

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size

文档

创建文档

假设索引已经创建好了，接下来我们来创建文档，并添加数据。这里的文档可以类比为关系型数据库中的表数据，添加的数据格式为 JSON 格式

在 Postman 中，向 ES 服务器发 POST 请求 ： http://127.0.0.1:9200/shopping/_doc，请求体JSON内容为：

{
   
    "title":"小米手机",
    "category":"小米",
    "images":"http://www.gulixueyuan.com/xm.jpg",
    "price":3999.00
}

注意，此处发送请求的方式必须为 POST，不能是 PUT，否则会发生错误 。

返回结果：

{
   
    "_index": "shopping",//索引
    "_type": "_doc",//类型-文档
    "_id": "ANQqsHgBaKNfVnMbhZYU",//唯一标识，可以类比为 MySQL 中的主键，随机生成
    "_version": 1,//版本
    "result": "created",//结果，这里的 create 表示创建成功
    "_shards": {
   //
        "total": 2,//分片 - 总数
        "successful": 1,//分片 - 总数
        "failed": 0//分片 - 总数
    },
    "_seq_no": 0,
    "_primary_term": 1
}

上面的数据创建后，由于没有指定数据唯一性标识（ID），默认情况下， ES 服务器会随机生成一个。

如果想要自定义唯一性标识，需要在创建时指定： http://127.0.0.1:9200/shopping/_doc/1，请求体JSON内容为：

{
   
    "title":"小米手机",
    "category":"小米",
    "images":"http://www.gulixueyuan.com/xm.jpg",
    "price":3999.00
}

返回结果如下：

{
   
    "_index": "shopping",
    "_type": "_doc",
    "_id": "1",//<------------------自定义唯一性标识
    "_version": 1,
    "result": "created",
    "_shards": {
   
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 1,
    "_primary_term": 1
}

此处需要注意：如果增加数据时明确数据主键，那么请求方式也可以为 PUT。

查询文档

查看文档时，需要指明文档的唯一性标识，类似于 MySQL 中数据的主键查询

在 Postman 中，向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/shopping/_doc/1 。

返回结果如下：

{
   
    "_index": "shopping",
    "_type": "_doc",
    "_id": "1",
    "_version": 1,
    "_seq_no": 1,
    "_primary_term": 1,
    "found": true,
    "_source": {
   
        "title": "小米手机",
        "category": "小米",
        "images": "http://www.gulixueyuan.com/xm.jpg",
        "price": 3999
    }
}

数据不存在的情况，返回结果如下

{
   
    "_index": "shopping",
    "_type": "_doc",
    "_id": "1001",
    "found": false
}

查看索引下所有数据
向 ES 服务器发 GET 请求 ： http://127.0.0.1:9200/shopping/_search
返回：

{
   
    "took": 133,
    "timed_out": false,
    "_shards": {
   
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
   
        "total": {
   
            "value": 2,
            "relation": "eq"
        },
        "max_score": 1,
        "hits": [
            {
   
                "_index": "shopping",
                "_type": "_doc",
                "_id": "ANQqsHgBaKNfVnMbhZYU",
                "_score": 1,
                "_source": {
   
                    "title": "小米手机",
                    "category": "小米",
                    "images": "http://www.gulixueyuan.com/xm.jpg",
                    "price": 3999
                }
            },
            {
   
                "_index": "shopping",
                "_type": "_doc",
                "_id": "1",
                "_score": 1,
                "_source": {
   
                    "title": "小米手机",
                    "category": "小米",
                    "images": "http://www.gulixueyuan.com/xm.jpg",
                    "price": 3999
                }
            }
        ]
    }
}
修改文档

和新增文档一样，输入相同的 URL 地址请求，如果请求体变化，会将原有的数据内容覆盖

在 Postman 中，向 ES 服务器发 POST 请求 ： http://127.0.0.1:9200/shopping/_doc/1

请求体JSON内容为:

{
   
    "title":"华为手机",
    "category":"华为",
    "images":"http://www.gulixueyuan.com/hw.jpg",
    "price":1999.00
}

修改成功后，服务器响应结果：

{
   
    "_index": "shopping",
    "_type": "_doc",
    "_id": "1",
    "_version": 2,
    "result": "updated",//<-----------updated 表示数据被更新
    "_shards": {
   
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 2,
    "_primary_term": 1
}

局部修改

修改数据时，也可以只修改某一给条数据的局部信息

在 Postman 中，向 ES 服务器发 POST 请求 ： http://127.0.0.1:9200/shopping/_update/1。

请求体JSON内容为:

{
   
	"doc": {
   
		"title":"小米手机",
		"category":"小米"
	}
}

返回结果如下：

{
   
    "_index": "shopping",
    "_type": "_doc",
    "_id": "1",
    "_version": 3,
    "result": "updated",//<-----------updated 表示数据被更新
    "_shards": {
   
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 3,
    "_primary_term": 1
}
删除文档

删除一个文档不会立即从磁盘上移除，它只是被标记成已删除（逻辑删除）。

在 Postman 中，向 ES 服务器发 DELETE 请求 ： http://127.0.0.1:9200/shopping/_doc/1

返回结果：

{
   
    "_index": "shopping",
    "_type": "_doc",
    "_id": "1",
    "_version": 4,
    "result": "deleted",//<---删除成功
    "_shards": {
   
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 4,
    "_primary_term": 1
}
条件查询

假设有以下文档内容

在 Postman 中，向 ES 服务器发 GET请求 ： http://127.0.0.1:9200/shopping/_search

{
   
    "took": 5,
    "timed_out": false,
    "_shards": {
   
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
   
        "total": {
   
            "value": 6,
            "relation": "eq"
        },
        "max_score": 1,
        "hits": [
            {
   
                "_index": "shopping",
                "_type": "_doc",
                "_id": "ANQqsHgBaKNfVnMbhZYU",
                "_score": 1,
                "_source": {
   
                    "title": "小米手机",
                    "category": "小米",
                    "images": "http://www.gulixueyuan.com/xm.jpg",
                    "price": 3999
                }
            },
            {
   
                "_index":
最低0.47元/天 解锁文章
恍然。。
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java 支持 shards 的jar_Elasticsearch All shards failed for phase: [query]
weixin_30404433的博客
02-24 1622
2017-01-12 21:21:070I have an elastsicsearch instance on AWS (I have a similar one that is working just fine.I have a lambda function that ships logs to elasticsearch. It stopped working after a while...
elasticsearch 出现 All shards failed for phase:问题解决过程
qq_45271350的博客
10-26 7987
运行es是报错：All shards failed for phase 运行命令：查看所有的index的状态，发现都是yellow curl -XGET ‘http://127.0.0.1:9200/_cat/indices?v&pretty’ 处理方法： curl -H "Content-Type: application/json" -XPUT 'http://localhost:9200/_all/_settings' -d ' { "index" : { "numbe
Elasticsearch 7.2.0 搜索时报 all shards failed 错误
pansanday的专栏
04-04 7432
问题描述： 通过ElasticSearch搜索时，当搜索的内容过长（大概25个汉字以上）时，会莫名其妙的报错，Elasticsearch exception [type=search_phase_execution_exception, reason=all shards failed]。 解决过程： 到网上搜索一番后，尝试了很多种方案，终于找到了一个解决方案，如下： searchSou...
ES错误修复-client读取timeout-all shards failed
09-14 1236
ES错误修复-client读取timeout 报错前环境及现象 有一个node机器中断过几个小时服务 客户端在某段时间内无任何操作后会报timeou错 es以及client版本都是7.6.2 推断是shard出了问题 报错信息 [Failed to execute phase [query], all shards failed] 代码段分析: org.elasticsearch.client.RestClient里的246行，看方法会在向ES集群指定节点发送请求失败后，尝试向其他节点发送请求，都
ElasticSearch笔记
11-20
ElasticSearch，简称为ES，是一个开源的、高度可扩展的分布式全文检索引擎。它基于 Java 开发，并利用 Lucene 作为其核心，实现了高效索引和搜索功能。ElasticSearch 通过Resultful API简化了与Lucene的交互，隐藏了...
elasticsearch自学笔记
最新发布
03-19
### Elasticsearch自学笔记知识点详解 #### 一、环境搭建与配置 **1.1 系统环境** - **背景说明：** 由于特定系统的限制（如ngtos2.6禁止新增非root用户），需要采取特殊措施确保Elasticsearch能在非root用户下...
Elasticsearch笔记
06-20
Elasticsearch 笔记 - RESTful API 设计 Elasticsearch 是一个基于 Lucene 的搜索引擎，它提供了一个 RESTful API 来实现数据的索引、搜索和管理。RESTful API 是一种架构风格，设计理念是把每个资源看作是一个网络...
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战)
04-18
(狂神)ElasticSearch快速入门笔记，ElasticSearch基本操作以及爬虫(Java-ES仿京东实战),包含了小狂神讲的东西，特别适合新手学习，笔记保存下来可以多看看。好记性不如烂笔头哦~，ElasticSearch，简称es，es是一个...
查询 elasticsearch 出现all shards failed异常 的解决方案
qq_40207443的博客
04-02 1万+
原文地址：juejin.cn/post/6914083794806898695
ElasticSearch排序引起的all shards failed异常原因分析
热门推荐
小7编程
09-12 7万+
背景 注：ElasticSearch版本为5.4。 在我们的日志系统里需要一些系统索引，这些系统索引在应用初始化的时候就会被添加到ElasticSearch中去，这些在ElasticSearch中的系统索引在没有索引数据的时候，只有索引名和一些配置信息，没有mapping信息。当用户去根据时间区间排序搜索日志信息的时候，ElasticSearch就会产生all shards failed异...
记一次elasticsearch错误（SearchPhaseExecutionException: all shards failed）
【欢迎关注公众号：冬瓜白】
11-11 9599
一、问题 logstash突然无法对elasticsearch服务进行读写操作了，提示elasticsearch的地址有问题，检测elasticsearch发现端口存在。查看日志发现有报错。 二、问题原因 有一些索引的数据损坏了 三、解决 官网文档：https://www.elastic.co/guide/cn/elasticsearch/guide/cn/_cluster_health.html 1、查看索引信息 curl -XGET 'http://localhost:9200/_clust
elasticsearch 出现all shards failed异常？
lili9415的博客
09-25 3万+
一、问题描述： elasticsearch 分页查询数据，刚开始数据还可以正常显示，但是到后面就报错： elastic: Error 500 (Internal Server Error): all shards failed [type=search_phase_execution_exception] 二、原因分析： 搜索了下，有什么 ElasticSearch排序引起的all shards failed异常原因分析？ 解决方案 还有就是跟我这个问题一样的，不是因排序引起all shards fa
生产环境使用elasticsearch遇到的一些问题以及解决方法（不断更新）
云端分布式搜索技术
11-17 7万+
1.由gc引起节点脱离集群      因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。 解决方法： （1）优化gc，减少gc时间。（2）调大zen discovery的重试次数（es参数：ping_retries）和超时时间（es参数：ping_ti
elasticsearch异常信息汇总
guomei的专栏
10-09 2万+
1.IndexMissingException  异常信息如下： org.elasticsearch.indices.IndexMissingException: [esfindexa] missing at org.elasticsearch.cluster.metadata.MetaData.convertFromWildcards(MetaData.java:867) a
elasticSearch常见问题答疑
lauyiran的博客
01-17 3万+
1.ES不是什么 ES不是可靠的存储系统，不是数据库，它有丢数据的风险。具体请参考ES内部分享中的ES简介这个文档 2.为什么一条数据写入后马上查询查不到？ ES不是实时系统，数据写入成功只是trans log成功（类似于mysql的bin log），写入成功后立刻查询查不到是正常的。因为数据此刻可能还在内存里而不是进入存储引擎里。 同理，删除一条数据后也不是马上消失 写入何时可查询？ES内部有一...
elasticsearch笔记
10-16
好的，关于elasticsearch的笔记，我可以提供以下内容： Elasticsearch是一个基于Lucene的搜索引擎，它提供了分布式、多租户的全文搜索引擎，具有高可用性、可扩展性和实时搜索等特点。它可以用于各种类型的应用程序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值