京东搜索引擎技术-Elasticsearch快速入门

最新推荐文章于 2023-07-09 12:47:43 发布
最新推荐文章于 2023-07-09 12:47:43 发布
阅读量1.6k 收藏 4
点赞数
分类专栏： 四 存储相关MySQL&Redis&ES&MQ 文章标签： ES 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cf082430/article/details/112078233
版权

一.简介

Elasticsearch是一个基于Lucence的搜索服务器。它提供了一个分布式的搜索引擎，基于restful web接口。广泛应用于云计算中，能够实时搜索，具有稳定，可靠，快速的特点。

二.为啥要学习Elasticsearch?

  • 它其实也是一种数据库的优化方案，它的强大之处在于模糊查询。如果是普通数据库查询 like%xxxx%,其实是不走索引的。只要你的数据库的量很大,你的查询肯定会是秒级别的。(es搜索速度很快)

  • 用户输入其实没那么精确或者打错，Elasticsearch却能返回用户想要的结果。（es匹配相关性较高）

  • 还有一点是我想在目前参与的资产监控平台加一个es搜索功能，公司资产太多，资产查询模块速度较慢，值得优化。

三.下载

  1. Elasticsearch服务端
https://www.elastic.co/cn/downloads/elasticsearch
http://127.0.0.1:9200/
  1. Elasticsearch客户端
- https://github.com/mobz/elasticsearch-head/
- 下载后安装依赖 npm install、npm run start；
- http://127.0.0.1:9100/
- 由于ES进程跟客户端进程端口号不同，存在跨域问题，所以在- - ES配置下跨域问题（elasticsearch.yml）
- 跨域配置： 
  http.cors.enabled: true 
  http.cors.allow-origin:
  1. 安装Kibana
- https://www.elastic.co/cn/downloads/kibana
- http://localhost:5601/
  1. 安装IK分词器插件
 - https://github.com/medcl/elasticsearch-analysis-ik/
 - 下载解压后将目录拷贝到Elasticsearch根目录的plugins目录中

es
es装IK插件

四.集群状态查看

  • 查看集群健康状态
GET /_cat/health?v
epoch      timestamp cluster       status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1609568211 06:16:51  elasticsearch yellow          1         1      6   6    0    0        3             0                  -                 66.7%
  • 查看节点状态
GET /_cat/nodes?v
ip        heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
127.0.0.1           34          46   3    1.52                  dilm      *      bogon
  • 查看所有索引信息
GET /_cat/indices?v
health status index                    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   test2                    czFVCmefSwKDuff0keqY4w   1   1          0            0       283b           283b
yellow open   test3                    l5ER5cDGStCyVyjiFPLfxA   1   1          0            0       250b           250b
green  open   .kibana_task_manager_1   9VdT8rFjTCqtV5GJkQoQig   1   0          2            1     29.6kb         29.6kb
green  open   .apm-agent-configuration M0ab_2w_TB-rL2AI-QLjIg   1   0          0            0       283b           283b
yellow open   chenf                    GjlqldIARtG5YQ8AlSTZgg   1   1          3            1     15.6kb         15.6kb
green  open   .kibana_1                id76k0UsRbiWjpdYS-e_5g   1   0         19            8     44.4kb         44.4kb

五.索引操作

  • 创建索引并查看
PUT /customer
GET /_cat/indices?v
health status index                    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   test2                    czFVCmefSwKDuff0keqY4w   1   1          0            0       283b           283b
yellow open   test3                    l5ER5cDGStCyVyjiFPLfxA   1   1          0            0       250b           250b
green  open   .kibana_task_manager_1   9VdT8rFjTCqtV5GJkQoQig   1   0          2            1     29.6kb         29.6kb
green  open   .apm-agent-configuration M0ab_2w_TB-rL2AI-QLjIg   1   0          0            0       283b           283b
yellow open   chenf                    GjlqldIARtG5YQ8AlSTZgg   1   1          3            1     15.6kb         15.6kb
green  open   .kibana_1                id76k0UsRbiWjpdYS-e_5g   1   0         20            9     52.2kb         52.2kb
yellow open   customer                 w6JrOoPWRPG6NX9831rJ7g   1   1          0            0       230b           230b
  • 删除索引并查看
DELETE /customer
GET /_cat/indices?v
health status index                    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   test2                    czFVCmefSwKDuff0keqY4w   1   1          0            0       283b           283b
yellow open   test3                    l5ER5cDGStCyVyjiFPLfxA   1   1          0            0       250b           250b
green  open   .kibana_task_manager_1   9VdT8rFjTCqtV5GJkQoQig   1   0          2            1     29.6kb         29.6kb
green  open   .apm-agent-configuration M0ab_2w_TB-rL2AI-QLjIg   1   0          0            0       283b           283b
yellow open   chenf                    GjlqldIARtG5YQ8AlSTZgg   1   1          3            1     15.6kb         15.6kb
green  open   .kibana_1                id76k0UsRbiWjpdYS-e_5g   1   0         20            3     49.9kb         49.9kb

六.文档操作

  • 在索引中添加文档
put /customer/doc/1
{
  "name":"John Doe"
}
  • 查看索引的文档
GET /customer/doc/1
  • 修改索引的文档
POST /customer/doc/1/_update
{
  "doc":{"name":"Jone Doe"}
}
  • 删除索引的文档
DELETE /customer/doc/1
  • 对索引中的文档执行批量操作
POST /customer/doc/_bulk
{"index":{"_id":"1"}}
{"name":"John Doe"}
{"index":{"_id":"2"}}
{"name":"Jane Doe"}

七.数据搜索

导入数据，地址为https://github.com/macrozheng/mall-learning/blob/master/document/json/accounts.json
直接使用批量操作来导入数据

在这里插入图片描述

  • 查看索引信息
查看索引信息
GET /_cat/indices?v

八.搜索入门

  • 搜索全部
GET /bank/_search
{
  "query":{"match_all":{}}
}
  • 分页搜索
GET /bank/_search
{
  "query":{"match_all":{}},
  "from":0,
  "size":10
}
  • 搜索排序,使用sort表示,列如按balance字段降序
GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}
  • 搜索并返回指定字段内容
GET /bank/_search
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}

九.条件搜索

  • 条件搜索
GET /bank/_search
{
  "query": {
    "match": {
      "account_number": 20
    }
  }
}
  • 文本类型字段
GET /bank/_search
{
  "query": {
    "match": {（对于数值类型match操作使用的是精确匹配，对于文本类型使用的是模糊匹配）
      "address": "mill"
    }
  },
  "_source": [
    "address",
    "account_number"
  ]
}
  • 短语匹配搜索
GET /bank/_search
{
  "query": {
    "match_phrase": {
      "address": "mill lane"
    }
  }
}

十.组合搜索

  • 组合搜索 使用bool来进行组合
must表示同时满足，例如搜索address字段同时包含mill和lane的文档
GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
  • 组合搜索 should
should表示满足其中任意一个，搜索address字段中包含mill或者lane的文档
GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
  • 组合搜索 must_not 同时不满足
GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
  • 组合搜索 must和must_not
GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

十一.过滤搜索

  • 搜索过滤，使用filter来表示，例如过滤出balance字段在20000~30000的文档；
GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

十二.搜索聚合

  • 对搜索进行聚合，使用aggs来表示，类似Mysql中的group by
  • 例如对state字段进行聚合，统计相同state文档数量
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

在这里插入图片描述

  • 嵌套聚合，例如对state字段进行聚合，统计出相同state的文档数量，再统计出balance的平均值；
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

在这里插入图片描述

  • 对聚合搜索的结果进行排序，例如按balance的平均值降序排列；
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

在这里插入图片描述

  • 按字段值的范围进行分段聚合，例如分段范围为age字段的[20,30] [30,40] [40,50]，之后按gender统计文档个数和balance的平均值；
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}

十三.学习参考来自

  • http://www.macrozheng.com/#/reference/elasticsearch_start
  • https://www.zhihu.com/question/323811022
  • https://www.515code.com/posts/x7y2e0z2/
陈于晏8
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Like-Book:基于ES快速索引推荐系统
05-23
项目目录描述 LikeBook: 小程序端
elasticsearch - 搜索引擎 - elasticsearch tutorial
最新发布
06-30
Table of Contents ...Comparison between Elasticsearch and RDBMS3 2. ELASTIC SEARCH – INSTALLATION 4 3. ELASTIC SEARCH – POPULATE 8 Create Index 8 Add data 8 Adding Sample Data in Kibana 10
ES中如何实现like模糊查询
热门推荐
弹指天下
08-02 3万+
问题描述： 我们都知道ES针对复杂的多添加组合查询非常强大，也知道通过match可以实现全文检索查询（分词查询），但是如果现在我只需要实现类似mysql中的like全匹配模糊查询，该怎么实现呢？ 业务场景： 从content_index表中查询字段content中包含ES的记录。 在关系型数据库中对应的SQL语句： SELECT content FROM content_index WHERE content like '%ES%' 数据准备： ## 删除索引 ## DELETE co
ES实现mysql中的like不跳词搜索效果
qq_27756989的博客
05-04 2670
文章目录前言应用场景总结 前言 近期遇到了使用ES搜索时，有个别的字段需要实现类似于mysql中的Like效果。不跳词，并且可以通配符搜索。 应用场景 这里以一个商品有商品名需要跳词搜索，而商品的地址就有多地址，而这个多地址是不能跳词的。所以需要用到类似mysql中like搜索的效果。如果搜索地址使用分词搜索的话，搜索广州时，广西，苏州也会被搜索出来，所以需要like来进行搜索。 在ES中搜索时，有很多种模式，下面就是相应关键字对应的搜索模式。 关键字 效果 term系列 精确搜素 ma
es笔记三之term，match，match_phrase 等查询方法介绍
weixin_43354181的博客
12-19 8964
首先介绍一下在 es 里有两种存储字符串的字段类型，一个是 keyword，一个是 text。keyword 在存储数据的时候是作为一个整体存储的，不会对其进行分词处理text 存储数据的时候会对字符串进行分词处理，然后存储。而对于查询方法， term 是精确查询，match 是模糊查询。接下来我们用几个例子，来分别表达下这两种类型的字段，使用 term，match，match_phrase 等搜索的情况。
es模糊查询
qq_44075328的博客
06-27 1万+
Match 查询是一种基于文本匹配的查询，它可以用于对文本进行全文搜索。Match 查询是一种非常灵活的查询，可以用于执行模糊匹配、短语匹配、前缀匹配等操作。Regexp 查询是一种基于正则表达式的查询，它可以用于在文本中查找匹配指定正则表达式的单词或短语。使用这些查询时，需要注意查询的性能和准确性，并根据实际情况选择最适合的查询类型。查询、Fuzzy查询、Regexp查询和Match查询。在上面的示例中，查询将匹配所有以 "elasticsearch" 开头的单词或短语的文档。支持多种模糊查询，包括。
java学习之搜索引擎-Elasticsearch安装
06-16
首先在elasticsearch官网下载你想要安装的版本，我这里使用的是7.12.1版本 上传到你想要安装的目录（/user/search/） 然后解压，解压命令如下： tar -zxvf elasticsearch-7.12.1-linux-x86_64.tar.gz 解压后进入...
ElasticSearch搜索引擎使用-从0到1
02-25
两年前有机会接触过elasticsearch，但是未做深入学习，只是工作中用到了。越来越发现es是个不错的好东西，所以花了点时间好好学习了下。在学习过程中也发现了一些问题，网上大多资料都很零散，大部分都是实验性的...
es入门操作-elasticsearch入门操作
12-27
1. 高效的搜索性能：Elasticsearch 提供了高效的搜索性能，能够对大量数据进行快速搜索。 2. 高度可扩展：Elasticsearch 可以水平扩展，能够对大量数据进行处理。 3. 实时搜索：Elasticsearch 提供了实时的搜索功能...
elasticsearch7.17.3 实现类似mysql的like查询
qq_41444892的博客
03-30 2488
elasticsearch实现类似于mysql的like查询效果
es常用命令
阿呆的专栏
01-31 2306
where (and in) (and not in) select * from order-202001 where contract_type = 1 and order_type in (0,1,2,3,4,5,8,9,10) and platform_shopid not in (72,166) GET order-202101/_search { "query": { "bool": { "must": [ { "term": {
python带通配符的字符串匹配_数据库教程-SQL Server通配符与模式匹配
weixin_39970689的博客
11-22 684
模式匹配及模糊查询数据查询是数据库的核心功能之一，其中使用like关键字可以实现待查询字段与指定的模式进行匹配查询。本文主要介绍SQL Server中用于实现LIKE模糊查询相关模式匹配的基本概念及对部分典型模式匹配进行说明。模式匹配基本概念模式匹配主要用于实现对字符串进行操作。其基本原理是通过使用一个模式字符串来匹配符合条件的字符串。在T-SQL语言Where条件语句对记录集进行筛选的过程中通过...
Elasticsearch 基本使用（五）查询条件匹配方式(query & query_string)
冰糖的博客
07-09 7918
ES中常用的查询类型往大了分可以分为简单查询，复合查询，聚合查询等；而复合查询及聚合查询都是基于简单查询的；简单查询里面对条件的匹配方式又分为不同类型。term[s]，match，match_all，match_phrase 等等。
如何使用ES做简单的时间条件过滤+模糊查询+精确匹配+关键字排除，查询 elasticsearch查询结果包含或排除某些字段、_source查询出需要的属性名称
一个学习Java开发的老头
11-12 6290
must ：返回文档必须满足该条件，且提供分数 filter ：返回文档必须满足该条件，但是不需要提供分数 should ：返回文档可以满足0个或多个条件，且提供分数 must_not : 返回文档必须不满足条件，但是不需要提供分数
elasticsearch 基于ik分词器的分词查询和模糊匹配
朝立的博客
05-05 4088
将查询的内容分解，提取。例如 文档数据库 ，就会被分词器 分解为 文档 ，数据 ，数据库等 查询返回更加有广度。类似 mysql 语法中的 like ‘%value%’此处简单梳理一下最常用的查询。查询会将分词解析出的分词。根据具体字段精确查询内容。ES查询条件 分词查询。类似于百度的分词查询。
用ES搜索关键字并且返回模糊字段高亮
qq_40415205的博客
05-12 3215
一般来说，各个网站，首页的搜索，都会有进行全文搜索的示例，并且把模糊匹配的多个数据进行标记(高亮)，这样便于全局检索关键的数据，便于客户进行浏览。基于此，本文简单介绍这种功能基本java 的 实现。类型ID: 1 线索、2 客户、3 商机、4 联系人、5 售前、6 订单、7 合同，下面是最终的想要的结果，搜索内容代码 1， type 是 类型。由于公司页面此功能隐藏了，本文就以接口调用返回看具体实现了。控制层 controller。// 构建查询条件 & 高亮。逻辑层 service。
clob和blob是不是可以进行模糊查询_你知道什么是 MySQL 的模糊查询？
weixin_39576133的博客
11-21 602
作者 | luanhz责编 | 郭芮本文对MySQL中几种常用的模糊搜索方式进行了介绍，包括LIKE通配符、RegExp正则匹配、内置字符串函数以及全文索引，最后给出了性能对比。引言MySQL根据不同的应用场景，支持的模糊搜索方式有多种，例如应用最广泛的可能是Like匹配和RegExp正则匹配，二者虽然用法和原理都很相似，但实际上匹配原则却不尽相同，其中Like要求模式串与整个目标字段完...
ES字符串从任意位置模糊查询（支持只匹配含连续字符串内容）
~_~的博客
10-14 8242
ES 任意位置模糊搜索 支持连续字符串匹配 支持条件含空格则视为多个查询值
ElasticSearch_12_ES的高性能设计
毛毛的专栏
03-23 5667
es：安装+使用DSL(java程序)+八股文 对应mysql 有orderby groupby 聚合函数 avg sum max min mysql 中的like关键字， 后模糊 才能走索引，前模糊和全模糊都不会走索引，且无法分词，卫生纸 和 卫纸 es 相对于 mysql ：存储（分库分表） 性能 分词 lucence 单实例 elasticsearch 多实例、分布式、集群 用java写的，springboot集成，四种连接方式 elasticsearch 每个实例就是一个 lu
java中ElasticSearch的ppt讲解分享44页
02-16
内容涵盖了ElasticSearch的发展历史、基本概念、CRUD操作以及最佳实践，旨在帮助学习者理解这个分布式、开源的搜索分析引擎的特性和用途。ElasticSearch基于Apache Lucene，被广泛应用于大数据处理、全文检索领域，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值