Elasticsearch初体验

最新推荐文章于 2021-03-25 23:20:54 发布
最新推荐文章于 2021-03-25 23:20:54 发布
阅读量210 收藏
点赞数
分类专栏： 笔记 文章标签： es elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strburnchang/article/details/88807761
版权

Elasticsearch学习笔记

一、简介

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。
设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，
我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，
我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。
因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。

二、安装

1.安装Elasticsearch

1.查询相关镜像
 docker search elasticsearch
2.下载镜像
 docker pull elasticsearch:6.5.0
3.查看镜像
 docker images
4.启动实例
 docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:6.5.0
5.查看是否安装启动成功
  浏览器访问 http://localhost:9200/ (curl http://localhost:9200/)
  返回
  {
    "name" : "gkQsy39",
    "cluster_name" : "docker-cluster",
    "cluster_uuid" : "P8xh_EGhRIKSVO0Lnr_iSA",
    "version" : {
      "number" : "6.5.0",
      "build_flavor" : "default",
      "build_type" : "tar",
      "build_hash" : "816e6f6",
      "build_date" : "2018-11-09T18:58:36.352602Z",
      "build_snapshot" : false,
      "lucene_version" : "7.5.0",
      "minimum_wire_compatibility_version" : "5.6.0",
      "minimum_index_compatibility_version" : "5.0.0"
    },
    "tagline" : "You Know, for Search"
  }


Tips:
    默认elasticsearch 占用2G内存，要是启动不了，可以进入实例修改内存大小
    docker exec -it elasticsearch /bin/bash
    或者
    winpty docker exec -it elasticsearch bash
    打开jvm配置
    vi ./config/jvm.options
    修改参数
    -Xms512M（默认配置2g）
    -Xmx512M（默认配置2g）

2.安装Kibana

1.查询相关镜像
 docker search kibana
2.下载镜像
  docker pull kibana:6.5.0
3.查看镜像
 docker images
4.启动实例
 docker run --name kibana -e ELASTICSEARCH_URL=http://172.17.0.1:9200 -p 5601:5601 kibana:6.5.0
5.浏览器输入  http://localhost:5061

Tips:
    (1).ELASTICSEARCH_URL 一定是 elasticSearch 容器地址，
        ELASTICSEARCH_URL=http://172.17.0.1:9200
    (2).查看elasticsearch容器地址方法
      docker inspect elasticsearch
    (3). kibana 版本一定要和 elasticsearch版本号对应上（踩坑）

三、简单集群操作(以下所有操作均在 kibana Dev Tools界面操作)

  • 1 快速检查集群的健康状况 GET /_cat/health?v
    如何快色了解集群的监控状况？ green\yellow\red
    epoch      timestamp cluster        status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
    1552790807 02:46:47  docker-cluster green           1         1      1   1    0    0        0             0                  -                100.0%
    
    status：green\yellow\red
    green: 每个索引的primary shard和replica shard都是active状态
    yellow: 每个索引的primary shard都是active状态，但是部分replica shard不是active状态
    red：不是所有的primary shard都是active状态，部分索引的数据丢失了
  • 2 快速查看集群中有哪些缩影 GET /_cat/indices?/v
    kibana 自己创建的索引
    
    health status index     uuid                   pri rep docs.count docs.deleted store.size pri.store.size
    green  open   .kibana_1 Wr34CaR8TbW3G49wpjzotA   1   0          2            0      8.5kb          8.5kb
  • 3 简单索引的操作

    (1) 创建索引：
PUT /test_index?pretty

#! Deprecation: the default number of shards will change from [5] to [1] in 7.0.0; if you wish to continue using the default of [5] shards, you must manage this on the create index request or with an index template
{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "test_index"
}

再次查询索引
GET /_cat/indices?/v
health status index      uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_1  Wr34CaR8TbW3G49wpjzotA   1   0          2            0      8.5kb          8.5kb
yellow open   test_index CUKaD3AdQ1OzycNVxYpZEg   5   1          0            0      1.1kb          1.1kb

(2) 创建索引：

DELETE /test_index?pretty

{
  "acknowledged" : true
}

四、简单CRUD操作

  • 1 新增商品、新增文档、建立索引 eg：PUT /index/type/id
PUT /index/type/id
    PUT /leafproduct/product/1
    {
        "name":"haifeisi xifalu",
        "desc":"rousishunhua",
        "price":30.00,
        "producer":"haifeisi",
        "tags":["roushui","sihua"]
    }

插入成功提示
    
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "1",
      "_version" : 1,
      "result" : "created",
      "_shards" : {
        "total" : 2,
        "successful" : 1,
        "failed" : 0
      },
      "_seq_no" : 0,
      "_primary_term" : 1
    }




PUT /leafproduct/product/2
{
    "name":"oulaiya xifalu",
    "desc":"buxiu",
    "price":49.50,
    "producer":"oulaiya",
    "tags":["roushui","oulaiya"]
}
PUT /leafproduct/product/3
{
    "name":"lishi xifalu",
    "desc":"lishiniubi",
    "price":79.99,
    "producer":"lishi",
    "tags":["lishi","sihua"]
}

elasticsearch 会自动建立index 和type ,不需要体检创建，
而且elasticsearch 默认会对document每个field进行倒排索引，让其可以被搜索。
  • 2 查询商品 eg：GET /index/type/id

GET /leafproduct/product/1
结果
{
  "_index" : "leafproduct",
  "_type" : "product",
  "_id" : "1",
  "_version" : 1,
  "found" : true,
  "_source" : {
    "name" : "haifeisi xifalu",
    "desc" : "rousishunhua",
    "price" : 30.0,
    "producer" : "haifeisi",
    "tags" : [
      "roushui",
      "sihua"
    ]
  }
}
  • 3 修改商品
(1) 替换更新 eg：PUT /index/type/id
    PUT /leafproduct/product/1
    {
        "name":"haifeisi xifalu",
        "desc":"rousishunhua",
        "price":30.99,
        "producer":"haifeisi_PRODUCER",
        "tags":["roushui","sihua"]
    }
    修改后查询结果：
    {
      "_index" : "leafproduct",
      "_type" : "product",
      "_id" : "1",
      "_version" : 2,
      "found" : true,
      "_source" : {
        "name" : "haifeisi xifalu",
        "desc" : "rousishunhua",
        "price" : 30.99,
        "producer" : "haifeisi_PRODUCER",
        "tags" : [
          "roushui",
          "sihua"
        ]
      }
    }


(2) 只修改某些字段  eg: POST /index/type/id/_update

POST /leafproduct/product/1/_update
{
  "doc":{
    "name":"zhangbaobao xifalu"
  }
}

修改后查询
{
  "_index" : "leafproduct",
  "_type" : "product",
  "_id" : "1",
  "_version" : 4,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 3,
  "_primary_term" : 1
}
  • 4 删除商品 eg: DELETE /index/type/id?pretty
DELETE /leafproduct/product/2?pretty
执行后查询
{
  "_index" : "leafproduct",
  "_type" : "product",
  "_id" : "2",
  "found" : false
}

五、搜索方式

    1. query string search
    2. query DSL
    3. query filter
    4. full-text search
    5. pharse search
    6. highlight search

1.query string search

1.查询所有商品
GET /leafproduct/product/_search
2.查询名字包含xifulu的商品，并且按照价格倒叙排列
GET /leafproduct/product/_search?q=name:xifalu&sort=price:desc

2.query DSL

1.查询所有商品
GET /leafproduct/product/_search
{
  "query": {
    "match_all": {}
  }
}
2.匹配name字段，价格由大到小排序
GET /leafproduct/product/_search
{
  "query": {
    "match": {
      "name": "xifalu"
    }
  },
  "sort": [
    {
      "price": {
        "order": "desc"
      }
    }
  ]
}
2.匹配name字段，价格由大到小排序
GET /leafproduct/product/_search
{
  "query": {
    "match": {
      "name": "xifalu"
    }
  },
  "sort": [
    {
      "price": {
        "order": "desc"
      }
    }
  ]
}
3.分页查询 page=2. size=2
GET /leafproduct/product/_search
{
  "query": {
    "match_all": {}
  },
  "from": 2,
  "size": 2
}
4.查询部分字段（name,price）
GET /leafproduct/product/_search
{
  "query": {
    "match_all": {}
  },
  "_source": ["name","price"]
}

3.query filter

对数据进行过滤操作
查询 价格在 30-50之间的 名字为xifalu的商品

GET /leafproduct/product/_search
{
  "query": {
    "bool": {
      "must": {
        "match":{
          "name":"xifalu" 
        }
      },
      "filter": {
        "range": {
          "price": {
            "gte": 30,
            "lte": 50
          }
        } 
      }
    }
  }
}

4.full-text search全文检索

会拆解输入的关键词，只要匹配任何一个就会hit命中

查询语法，
GET /leafproduct/product/_search
{
  "query": {
    "match": {
      "name": "oulaiya xifalu"
    }
  }
}


结果如下，_score权重不同

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.5753642,
    "hits" : [
      {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "2",
        "_score" : 0.5753642,
        "_source" : {
          "name" : "oulaiya xifalu",
          "desc" : "buxiu",
          "price" : 49.5,
          "producer" : "oulaiya",
          "tags" : [
            "roushui",
            "oulaiya"
          ]
        }
      },
      {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "1",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "haifeisi xifalu",
          "desc" : "rousishunhua",
          "price" : 30.99,
          "producer" : "haifeisi_PRODUCER",
          "tags" : [
            "roushui",
            "sihua"
          ]
        }
      },
      {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "3",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "lishi xifalu",
          "desc" : "lishiniubi",
          "price" : 79.99,
          "producer" : "lishi",
          "tags" : [
            "lishi",
            "sihua"
          ]
        }
      }
    ]
  }
}

5.pharse search 短语搜索

要求输入的 搜素串必须在字段文本中，完全一模一样，才算匹配到吗，才返回结果

语法
GET /leafproduct/product/_search
{
  "query": {
    "match_phrase": {
      "name": "oulaiya xifalu"
    }
  }
}

结果：

{
  "took" : 22,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 0.5753642,
    "hits" : [
      {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "2",
        "_score" : 0.5753642,
        "_source" : {
          "name" : "oulaiya xifalu",
          "desc" : "buxiu",
          "price" : 49.5,
          "producer" : "oulaiya",
          "tags" : [
            "roushui",
            "oulaiya"
          ]
        }
      }
    ]
  }
}

6.highlight search高亮搜索

关键词所在字段高亮显示

语法：
GET /leafproduct/product/_search
{
  "query": {
    "match": {
      "name": "oulaiya xifalu"
    }
  },
  "highlight": {
    "fields": {
      "name": {}
    }
  }
}

结果：
{
  "took" : 52,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 3,
    "max_score" : 0.5753642,
    "hits" : [
      {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "2",
        "_score" : 0.5753642,
        "_source" : {
          "name" : "oulaiya xifalu",
          "desc" : "buxiu",
          "price" : 49.5,
          "producer" : "oulaiya",
          "tags" : [
            "roushui",
            "oulaiya"
          ]
        },
        "highlight" : {
          "name" : [
            "<em>oulaiya</em> <em>xifalu</em>"
          ]
        }
      },
      {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "1",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "haifeisi xifalu",
          "desc" : "rousishunhua",
          "price" : 30.99,
          "producer" : "haifeisi_PRODUCER",
          "tags" : [
            "roushui",
            "sihua"
          ]
        },
        "highlight" : {
          "name" : [
            "haifeisi <em>xifalu</em>"
          ]
        }
      },
      {
        "_index" : "leafproduct",
        "_type" : "product",
        "_id" : "3",
        "_score" : 0.2876821,
        "_source" : {
          "name" : "lishi xifalu",
          "desc" : "lishiniubi",
          "price" : 79.99,
          "producer" : "lishi",
          "tags" : [
            "lishi",
            "sihua"
          ]
        },
        "highlight" : {
          "name" : [
            "lishi <em>xifalu</em>"
          ]
        }
      }
    ]
  }
}
strburnchang
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch 6.5.3 索引管理实验记录
Joye-joy的博客
02-28 2968
Elasticsearch集群学习记录 1.Elasticsearch索引管理 新建索引命令 PUT 索引名 删除索引 DELETE 索引名 查看索引 GET 索引名/_settings 可同时查看多个索引。 GET 索引名1，索引名2/_settings 查看集群中所有的索引信息，命令如下： GET _all/_settings 索引的打开关闭 POST 索引名/_open...
Elasticsearch简介
少营营的博客
07-22 102
Elasticsearch简介 1 目标 了解什么是Elasticsearch 了解Elasticsearch使用案例 了解Elasticsearch与Solr的区别 2 讲解 2.1 什么是Elasticsearch ElaticSearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台...
（六）通过Kibana插件操作ES中的索引文档 (CRUD操作)
hd20086996的博客
10-12 1305
目录1 创建、删除索引1.1 创建索引2.2 删除索引2 document的结构3 添加文档4 查询文档5 修改文档5.1 替换文档5.2 更新文档6 删除文档 1 创建、删除索引 1.1 创建索引 # 创建索引API: PUT test_index?pretty # 响应信息如下: #! Deprecation: the default number of shards will change from [5] to [1] in 7.0.0; # if you wish to continue us
ES 06 - 通过Kibana插件操作ES中的索引文档 (CRUD操作)
weixin_30740295的博客
11-11 263
目录 1 创建、删除索引 1.1 创建索引 2.2 删除索引 2 document的结构 3 添加文档 4 查询文档 5 修改文档 5.1 替换文档 5.2 更新文档 ...
Elasticsearch入门
qq_24095055的博客
03-25 185
文章目录1. Elasticsearch安装 1. Elasticsearch安装 Elasticsearch配置说明 配置文件位于config目录中 elasticsearch.yml：es的相关配置 jvm.options：jvm的相关参数 log4j2.properties：日志相关配置 elasticsearch.yml 关键配置说明 cluster.name：集群名称，以此作为是否同一集群的判断条件 node.name：节点名称，以此作为集群中不同节点的区分条件 network.host/h
Elasticsearch-探索您的集群一
guo20082200的博客
01-15 1955
现在我们已经启动并运行了节点（和集群），下一步是了解如何与它进行通信。 幸运的是，Elasticsearch提供了一个非常全面和强大的REST API，您可以使用它与集群进行交互。 使用API可以完成的一些事项如下： 检查群集，节点和索引运行状况，状态和统计信息 管理您的群集，节点和索引数据和元数据 对索引执行CRUD（创建，读取，更新和删除）和搜索操作 执行高级搜索操作，例如分页，排序，过滤，...
ElasticSearch入门（一）单节点初体验
01-20
背景 What：ElasticSearch 是一个分布式、RESTful风格的搜索和数据分析引擎。以下简称ES。 Features: 具有近实时的全文检索能力、极其方便的横向...随着ES生态的不断繁荣，结合ELK（ElasticSearch, Logstash, Kibana
Elasticsearch实战.zip
08-28
- **分布式架构**：Elasticsearch设计之初就考虑到了大规模数据处理，采用分布式架构，支持多节点集群，能实现数据的自动分片和复制，确保高可用性和容错性。 - **RESTful API**：Elasticsearch通过HTTP和JSON进行...
elasticsearch
04-25
Elasticsearch设计之初就考虑了分布式场景，它支持数据的自动分片和复制，能够轻松扩展到数百甚至上千个节点，处理PB级别的数据。每个节点都可以独立工作，并且可以通过添加更多节点来提高系统的容错性和可扩展性。...
elastic-stack:以简单的方式学习 Elasticsearch、Logstash、Kibana 和 Beats
05-31
《弹性堆栈：深入探索Elasticsearch、Logstash、Kibana和Beats》 弹性堆栈（Elastic Stack）是一套由Elastic公司提供的开源工具集合，它包括Elasticsearch、Logstash、Kibana和Beats，常被用于日志分析、实时监控和...
Confluent之Kafka Connector初体验.doc
07-09
通过 Kafka Connect，用户可以轻松地将数据从关系型数据库（如 MySQL、PostgreSQL）导入到 Kafka，或者将 Kafka 中的数据导出到数据仓库（如 Hadoop 或 Elasticsearch）。这样，企业可以构建起实时的数据流水线，...
ElasticSearch
Alano1994的博客
03-18 569
前言 apache lucene 全文检索的工具包 索引：提供查询效率 数据库索引： 主键索引、唯一索引（unique）、复合索引（对数据库中的多个字段创建一个索引）、普通索引等 create index 索引名 on table (column1,column2) 全文检索；类似于使用字典过程 对数据预先构建索引，在查找的时通过索引匹配数据的过程就称为全文检索 创建索引： ...
【原】无脑操作：ElasticSearch学习笔记（01）
weixin_34238633的博客
12-31 595
开篇来自于经典的“保安的哲学三问”（你是谁，在哪儿，要干嘛） 问题一、ElasticSearch是什么？有什么用处？ 答：截至2018年12月28日，从ElasticSearch官网（https://www.elastic.co/cn/products）上，得知：ElasticSearch是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可靠性和管理便捷性而设计。用于搜索、分析和存...
3、ElasticSearch的增删改查
我就是我的博客
09-19 272
在进行实际操作之前，很有必要先了解下ElasticSearch中的基本术语及概念。 1、基本概念 1.1、索引(index) 索引(index)是es对逻辑数据的逻辑存储，可以把索引看成关系型数据库的表。 es可以把索引存放在一台机器或者分散存储在多台机器上，每个索引有一或多个主分片(shard),每个主分片可以有多个副本(replica)。 索引也是文档的容器，是一类文档的结合。每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型。 1.2、文档(document) 存储在es中.
ElasticSearch学习（一）
yilia_jia的博客
04-16 623
一、ElasticSearch的下载 下载地址https://www.elastic.co/downloads/elasticsearch 选择windows版本的下载 解压后运行bin下的elasticsearch.bat文件 访问http://localhost:9200/ 进行验证 出现下图即为启动成功 二、辅助管理工具Kibana5 下载地址：https://www.e...
【ELASTICSEARCH】ElasticSearch 爬坑学习
Zsigner的博客
12-25 577
1.了解ES官网的文档，发现在跟着步骤执行时出现了问题 语法： PUT /megacorp/employee/1 { "first_name" : "John", "last_name" : "Smith", "age" : 25, "about" : "I love to go rock climbing", "intere...
Redis集群环境搭建（笔记）
strburnchang的博客
03-07 1416
一、序言之前文章 http://blog.csdn.net/strburnchang/article/details/78634226 介绍了redis单机版服务搭建过程。这次是来学习集群版redis搭建及其使用。因硬件条件限制，仅在一台服务器做demo二、Redis单机版搭建过程redis单机版搭建过程三、Redis集群版搭建过程。1、Redis集群架构图，架构细节：(1)所有的redis节点彼...
01-ES-QL for Community - Chinese 12.03 2023 Beijing
最新发布
12-03
"本次分享主要介绍了Elasticsearch的全新管道查询语言ES|QL，它旨在提供一种统一的查询体验，用于搜索、规则设定和警报等。ES|QL的开发历时约17个月，旨在提高数据调查的效率，简化数据处理，并作为分布式计算和横向...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值