ES的使用总结

已于 2023-08-11 20:22:05 修改
阅读量118 收藏
点赞数
分类专栏： 数据库 文章标签： elasticsearch 大数据 搜索引擎
于 2023-08-11 20:19:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37938849/article/details/131585198
版权

在项目中根据条件搜索是很常见的功能，但是当数据量比较大时，使用mysql中模糊搜索性能会达到瓶颈。除此之外，我们在购物时商品的搜索也会使用ES来达到快速检索的目地。本文中介绍ES的常见使用，在windows环境中使用的版本为7.10.1，

ES的安装

下载windows版本的ElasticSearch，双击.bat文件，启动后访问 http://localhost:9200/，出现ES版本相关信息时，表示启动成功
在这里插入图片描述
下载kibana客户端，双击.bat文件，访问http://localhost:5601/
点击dev tools，就可以使用DSL语句测试各项功能
在这里插入图片描述

分词器的介绍

ik分词器

Elasticsearch默认使用的分词器是Standard Analyzer（标准分析器），标准分词器对英文分词比较友好，按空格划分英文单词，但是对于中文也是逐个字划分，因此并不适用于中文分词。查看默认的标准分词器的分词示例：

POST /_analyze
{
  "analyzer": "standard",
  "text": "hi how are you 查看展示"
}
分词结果
{
  "tokens" : [
    {
      "token" : "hi",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "<ALPHANUM>",
      "position" : 0
    },
    {
      "token" : "how",
      "start_offset" : 3,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "are",
      "start_offset" : 7,
      "end_offset" : 10,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "you",
      "start_offset" : 11,
      "end_offset" : 14,
      "type" : "<ALPHANUM>",
      "position" : 3
    },
    {
      "token" : "查",
      "start_offset" : 15,
      "end_offset" : 16,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    },
    {
      "token" : "看",
      "start_offset" : 16,
      "end_offset" : 17,
      "type" : "<IDEOGRAPHIC>",
      "position" : 5
    },
    {
      "token" : "展",
      "start_offset" : 17,
      "end_offset" : 18,
      "type" : "<IDEOGRAPHIC>",
      "position" : 6
    },
    {
      "token" : "示",
      "start_offset" : 18,
      "end_offset" : 19,
      "type" : "<IDEOGRAPHIC>",
      "position" : 7
    }
  ]
}

相较于默认的标准分词器，ik分词器主要用于中文，它采用自然语言识别处理算法，根据词库和规则进行中文分词，会划分成比较合理的词语，那么如何安装ik分词器呢？
ik分词器的安装是以插件的形式安装，下载对应ES版本的ik分词器，解压后的文件夹在这里插入图片描述放到ES安装目录的plugins文件中在这里插入图片描述
重新启动ES后即可使用ik分词器，ik分词示例查看前后对比

POST /_analyze
{
  "analyzer": "ik_smart",
  "text": "hi how are you 查看展示"
}
{
  "tokens" : [
    {
      "token" : "hi",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "ENGLISH",
      "position" : 0
    },
    {
      "token" : "how",
      "start_offset" : 3,
      "end_offset" : 6,
      "type" : "ENGLISH",
      "position" : 1
    },
    {
      "token" : "you",
      "start_offset" : 11,
      "end_offset" : 14,
      "type" : "ENGLISH",
      "position" : 2
    },
    {
      "token" : "查看",
      "start_offset" : 15,
      "end_offset" : 17,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "展示",
      "start_offset" : 17,
      "end_offset" : 19,
      "type" : "CN_WORD",
      "position" : 4
    }
  ]
}

HanLP分词器

HanLP也是中文的一个分词器。它采用了深度学习等先进技术，分词粒度较细，能够将中文文本拆解成较为准确的词语。HanLP分词器的安装同样需要下载相同版本的源码
https://github.com/KennFalcon/elasticsearch-analysis-hanlp/releases
将下载的文件解压后，目录中的data拷贝到ES的data文件中，config中的文件拷贝到ES的Config文件夹下，并修改文件名为analysis-hanlp
将解压缩文件夹下除了data和config的文件拷贝到ES的plugins中新建文件夹下analysis-hanlp
修改config配置文件中hanlp.properties中root的值

在这里插入图片描述
另修改plugin-security.policy文件的内容为
在这里插入图片描述

重启ES进行测试

常用功能总结

创建索引与映射

示例：

PUT /indexdemo
{
  "mappings": {
    "properties": {
        "name":{
        "type":"text",
        "analyzer":"ik_smart"
      },
      "brand":{
        "type":"keyword"
      },
      "address":{
        "type":"text",
        "analyzer":"ik_smart"
      },
      "tel":{
        "type":"integer",
        "index":"false"
      },
      "price":"double"
    }
    
  }
}

文档操作

插入文档

POST /indexdemo/_doc/1
{
  "name":"烧烤",
  "brand":"淄博",
  "address":"山东烧烤",
  "tel":"1234324"
}

修改文档

局部修改文档中的信息

#修改文档
POST /indexdemo/_update/1
{
  "doc":{
     "tel":"12121212"
  }
}

全量修改文档的信息，删除原来文档信息后新增

PUT /indexdemo/_doc/1
{
  "name":"烧烤1",
  "brand":"淄博1",
  "address":"山东烧烤1",
  "tel":"1234324"  
}

查看、删除文档

#查看文档
GET /indexdemo/_doc/1
#删除文档
DELETE /indexdemo/_doc/1

查询

查看所有文档

#查看所有
GET /indexdemo/_search
{
  "query": {
    "match_all": {}
  }
}

全文检索

GET /indexdemo/_search
{
  "query": {
    "match": {
      "name": "涮"
    }
  }
}

精确查询

GET /indexdemo/_search
{
  "query": {
    "term": {
      "brand": {
        "value": "小店"
      }
    }
  }
}

在这里插入图片描述

范围查询

GET /indexdemo/_search
{
  "query": {
    "range": {
      "price": {
        "gte": "50",
        "lte":"100"
      }
    }
  }
}

在这里插入图片描述

复合查询 Boolean Query

GET /indexdemo/_search
{
  "query": {
    "bool": {
      "must": [
        {
        "match":{
            "name": "涮"
          }
        }
      ],
      "must_not": [
        {
          "range": {
            "price": {
              "lte": 22
            }
          }
        }
      ], 
      "should":[
        {
          "term":{
            "brand":"小店"
          }
        }
      ],
      "filter": [
        {
          "match":{
            "address":"网红"
          }
        }
      ]
    }
  }
}

在这里插入图片描述

模糊查询

fuzziness：表示允许输入差异字符的个数
prefix_length：表示前几个字符需要是精确匹配的

GET /indexdemo/_search
{
  "query": {
    "fuzzy": {
      "name": {
        "value": "虾好吃",
        "fuzziness": 2,
        "prefix_length": 1
      }
    }
  }
}

分页

from :指数据开始得到偏移量，可有(页数-1)*每页展示数量获取
size： 每页获取的条数

#分页
GET /indexdemo/_search
{
  "query": {
    "match_all": {}
  },
  "from":0,
  "size":3
}

排序

价格升序

GET /indexdemo/_search
{
  "query": {
    "match_all": {}
  },
  "sort":[
    {
      "price": "asc"
    }
  ]
}

高亮

查询词结果高亮

#高亮
GET /indexdemo/_search
{
  "query": {
    "match": {
      "name":"涮"
    }
  },
  "highlight": {
    "fields": {
      "name": {}
    }
  }
}

在这里插入图片描述

扩展词

在ik分词器的配置文件中，可以设置扩展的词汇以及停用词

同义词

设置同义词能够增加搜索匹配的数据，通过自定义同义词分词器来实现

PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "ik_smart",
          "filter": ["lowercase", "my_synonym"]
        }
      },
      "filter": {
        "my_synonym": {
          "type": "synonym",
          "synonyms_path": "H:/SoftWare/es/elasticsearch-7.10.1/elasticsearch-7.10.1/elasticsearch-7.10.1/config/synonyms.txt"
        }
      }
    }
  },
  "mappings": {
     "properties": {
      "name": {
        "type": "text",
        "analyzer": "my_analyzer"
      }
    }
  }
}

设置同义词的文件
在这里插入图片描述

测试数据：

PUT /my_index/_doc/1
{
  "name":"开心"
}
PUT /my_index/_doc/2
{
  "name":"高兴"
}

GET /my_index/_search
{
  "query": {
    "match": {
      "name": "开心"
    }
  }
}

设置为同义词的数据，也能搜索到
在这里插入图片描述

词典扩展

随着时间的发展，新的词汇在增加，扩展词汇的设置就是为了能够提升新增词汇的识别，从而能够更贴切的划分语句
在添加之前，奥利给的分词展示
在这里插入图片描述
添加扩展词配置之后
在这里插入图片描述
在这里插入图片描述
会被当成一个词语
在这里插入图片描述

停用词设置

一些无实际意义的词语，例如：啊、哈、呵，这些词汇不需要分词，将这些词汇设置在停用词文件中，分词后不会显示即不会划分成词
在这里插入图片描述

珍惜当下，行则将至
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch学习总结
01-27
Elasticsearch是面向文档(documentoriented)的，这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中，你可以对文档（而非成行成列...
Elasticsearch总结.doc
04-01
内容包括9部分 一、 Elasticsearch 简介 简单描述Elasticsearch Elasticsearch的特性 分布式、全文检索、近实时搜索和分析、高可用、模式自由、...八、Elasticsearch使用过程中的坑 九、Elasticsearch写一致性保障
ES使用中的总结整理
weixin_30664615的博客
09-10 324
最近项目中使用了ES搜索，开始时自己搭建了ES环境做测试，后面申请了公司的云平台应用，对接ES的过程中颇具波折，遇到了很多问题，在这里统一整理记录下：1，ES的9200 及 9300端口说明 9200作为Http协议，暴露ESRESTful接口端口号，主要用于外部通讯 ES集群之间是通过9300进...
ES查询知识小结
weixin_45442529的博客
05-20 8676
es的查询语法学习
ES基础总结
zcm036200的博客
12-14 2288
一、简介 ES官方简介：Elasticsearch 是一个基于Lucene的分布式搜索、存储和分析引擎。所以不要只是将ES认为是一个搜索引擎。但是我们主要学习和使用的都是搜索和分析功能。ES实现搜索主要使用的是倒排索引。 1、Lucene与倒排索引 Lucene其实就是一个jar包，为我们提供了复杂的API，帮我们创建倒排索引。但是Lucene在做集群搜索时存在一些缺点，下图为Lucene实现集群搜索的展示以及缺点总结。 那什么是倒排索...
es使用总结
yilu_beiyu的博客
02-16 1278
### es使用总结： 1. 创建mapping 参考：https://www.elastic.co/guide/en/elasticsearch/reference/7.10/mapping.html 2. 创建链接 ``` 参考： https://www.elastic.co/guide/en/elasticsearch/client/java-api-client/current/connecting.html https://www.elastic.co/guide/en...
es基本的使用总结
zpcqdkf的博客
06-13 1004
现在基本去任何一家公司去面试的话，es6应该是一定会问到的。一直在使用但是还需要更多的学习，一直没时间总结一下，现在希望归纳一下一些基本的要点（参考一些资料及别人的文章），仅供自己参考使用吧1.let关键字    和var类似都是用于声明变量 但还是有一定的区别    特点 ：在快作用域内有效。不能重复声明。不会预处理，不存在变量提升。2.const关键字：定义一个固定 的不改变的常量使用，保证数...
Elasticsearch使用总结
热门推荐
茅庐
12-25 1万+
本文着重对Elasticsearch在应用层面上的使用进行总结，主要包括基本概念、数据插入、数据查询、聚合分析。
基于Elasticsearch5.4的常见问题总结
08-28
下面小编就为大家分享一篇基于Elasticsearch5.4的常见问题总结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
ES使用总结
weixin_34150224的博客
09-13 166
为什么80%的码农都做不了架构师？>>> ...
使用Restful访问ES
qq_38139702的博客
03-17 313
下载一个POSTMAN Postman官网：https://www.getpostman.com 接着我上一篇文章。 进入head插件目录，打开cmd，输入： npm install grunt server 打开浏览器，输入http://localhost:9100即可 创建索引 删除索引 index 创建文档document（向索引库中添加内容）---POST ...
Elasticsearch[es]的命令总结
长胖的wo一定特美的博客
11-04 4382
http://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html https://github.com/elastic/elasticsearch 什么是Elasticsearch?? Elasticsearch是一个实时的分布式搜索分析引擎,以一个之前从未有过的速度和规模,去探
在Elasticsearch中-SpaceJam一个全文搜索的实例
靡不有初，鲜克有终
06-13 440
在Elasticsearch中进行全文搜索通常涉及几个步骤：创建索引、定义映射、索引文档、执行搜索查询。在这个映射中，我们使用了`english`分析器来处理`title`和`description`字段，使用`standard`分析器来处理`director`字段。通过这个"SpaceJam"的实例，我们可以看到Elasticsearch如何用于全文搜索，包括创建索引、定义映射、索引文档以及执行搜索查询。这个响应显示了搜索查询找到了一个匹配的文档，并且提供了文档的得分和原始内容。
【Git】详解本地仓库的创建、配置以及工作区、暂存区、版本库的认识
m0_74265792的博客
06-09 968
【Git】详解本地仓库的创建、配置以及工作区、暂存区、版本库的认识
ElasticSearch全文搜索引擎
Casual_Lei的博客
06-13 1493
​ Lucene是apache下的一个开源的全文检索引擎工具包(一堆jar包)。它为软件开发人员提供一个简单易用的工具包（类库），以方便的在小型目标系统中实现全文检索的功能。Lucene适用于中小型项目 ，ES适用于中大型项目（它底层是基于lucene实现的）​ 虽然全文搜索领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。
Elasticsearch-IndexTemplate和DynamicTemplate 有什么区别
靡不有初，鲜克有终
06-13 522
**使用目的**：Index Template用于确保新索引符合预定义的模板，而Dynamic Template用于处理未知字段的自动映射。- **配置内容**：Index Template可以包含索引的全面设置和映射定义，Dynamic Template仅限于字段的映射定义。- **作用范围**：Index Template作用于整个索引的创建，而Dynamic Template作用于索引过程中的单个字段。3. **配置范围**：仅定义字段级别的映射，不涉及索引级别的设置。
Git基础指令（图文详解）
最新发布
喻师傅的学习笔记
06-13 1081
Git基础指令
【将xml文件转yolov5训练数据txt标签文件】连classes.txt都可以生成
祖国花朵的博文
06-10 737
将xml文件转yolov5训练数据txt标签文件
【Bazel入门与精通】 rules之属性
06-10 1058
属性可以为目标的 implementation 提供特定值，也可以引用其他目标，从而创建依赖关系图。
ElasticSearch使用教程
04-01
ElasticSearch是一个开源的搜索和分析引擎，用于全文搜索、结构化搜索和分析，可用于各种应用程序，包括电子商务、日志分析、安全策略等。 本教程将介绍如何使用ElasticSearch进行搜索、索引和分析数据。 1. 安装ElasticSearch 首先需要安装ElasticSearch。这可以通过官方网站的下载页面下载最新版本的ElasticSearch。下载后，解压缩文件并启动ElasticSearch。在Windows上，可以运行bin/elasticsearch.bat文件；在Linux上，可以运行bin/elasticsearch脚本。 2. 创建索引 在ElasticSearch中，数据存储在索引中，类似于数据库中的表。要创建一个索引，可以使用ElasticSearch的REST API。例如，要创建一个名为“myindex”的索引，可以使用以下命令： ``` PUT /myindex ``` 这将创建一个名为“myindex”的索引。 3. 添加文档 在ElasticSearch中，文档是存储在索引中的最小数据单元。要向索引添加文档，可以使用以下命令： ``` POST /myindex/_doc { "title": "ElasticSearch Tutorial", "author": "John Doe", "content": "This is a tutorial on how to use ElasticSearch." } ``` 这将向“myindex”索引添加一个文档，其中包含标题、作者和内容字段。 4. 搜索文档 要搜索文档，可以使用ElasticSearch的搜索API。例如，要从“myindex”索引中搜索包含“ElasticSearch”的文档，可以使用以下命令： ``` GET /myindex/_search?q=ElasticSearch ``` 这将返回所有包含“ElasticSearch”的文档。 5. 聚合数据 ElasticSearch还提供了聚合功能，可以用于从数据中提取有用的信息。例如，要计算“myindex”索引中所有文档的平均长度，可以使用以下命令： ``` GET /myindex/_search { "aggs": { "avg_length": { "avg": { "field": "content.length" } } } } ``` 这将返回所有文档内容长度的平均值。 6. 过滤数据 ElasticSearch的过滤功能可以用于从数据中过滤出特定的文档。例如，要从“myindex”索引中过滤出作者为“John Doe”的文档，可以使用以下命令： ``` GET /myindex/_search { "query": { "bool": { "must": [ { "match": { "author": "John Doe" } } ] } } } ``` 这将返回所有作者为“John Doe”的文档。 7. 总结 ElasticSearch是一个强大的搜索和分析引擎，可用于各种应用程序。使用ElasticSearch的REST API，可以轻松创建索引、添加文档、搜索文档、聚合数据和过滤数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值