全文搜索引擎Elasticsearch基础教程

最新推荐文章于 2024-03-20 21:12:33 发布
最新推荐文章于 2024-03-20 21:12:33 发布
阅读量123 收藏
点赞数
文章标签： 搜索引擎 elasticsearch lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40938528/article/details/121706179
版权

  • 全文搜索属于最常见的需求，开源的 Elasticsearch是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。

  • Elasticsearch 的底层是开源库 Lucene。但是，你没法直接用 Lucene，必须自己写代码去调用它的接口。Elasticsearch 是 Lucene 的封装，提供了 REST API 的操作接口，开箱即用。

1 安装

  • 以v7.9.1版本为例，目前最新版本是v7.15.1

1.1 手动安装

  • 文档：https://www.elastic.co/guide/en/elasticsearch/reference/current/targz.html
# 以Linux系统为例

# 下载
$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.1-linux-x86_64.tar.gz

# 完整性校验
$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.1-linux-x86_64.tar.gz.sha512
$ shasum -a 512 -c elasticsearch-7.9.1-linux-x86_64.tar.gz.sha512 

# 解压
$ tar -xzf elasticsearch-7.9.1-linux-x86_64.tar.gz

# 进入解压后的目录
$ cd elasticsearch-7.9.1

# 启动
$ ./bin/elasticsearch

1.2 k8s部署

  • 文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.15/docker.html
# deployment.yaml

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: &PROJECT_NAME-elasticsearch
  namespace: default
spec:
  selector:
    matchLabels:
      name: &PROJECT_NAME-elasticsearch
  replicas: 1
  strategy:
    type: RollingUpdate
  template:
    metadata:
      labels:
        author: yunfu
        name: &PROJECT_NAME-elasticsearch
    spec:
      containers:

   - image: elasticsearch:7.9.1
     imagePullPolicy: IfNotPresent
     securityContext:
       privileged: true
     name: &PROJECT_NAME-elasticsearch
     volumeMounts:
       - mountPath: /usr/share/elasticsearch/data
         name: data
       - mountPath: /usr/share/elasticsearch/plugins
         name: plugins
       - mountPath: /usr/share/elasticsearch/config/analysis
         name: analysis
         env:
       - name: PROJECT_NAME
         value: &PROJECT_NAME
       - name: discovery.type
         value: single-node
       - name: indices.query.bool.max_clause_count
         value: '40960'
         ports:
       - containerPort: 9200
         nodeName: s03
         volumes:
           - name: data
             hostPath:
               path: &MOUNT_PATH/elasticsearch/data
           - name: plugins
             hostPath:
               path: &MOUNT_PATH/elasticsearch/plugins
           - name: analysis
             hostPath:
               path: &MOUNT_PATH/elasticsearch/analysis

---
apiVersion: v1
kind: Service
metadata:
  name: &PROJECT_NAME-elasticsearch
  namespace: default
spec:
  type: NodePort
  selector:
    name: &PROJECT_NAME-elasticsearch
  ports:
    - port: 9200
      targetPort: 9200
      nodePort: 9200

1.3 验证

如果一切正常，Elasticsearch 就会在默认的9200端口运行。这时，打开另一个命令行窗口，请求该端口，会得到说明信息。

GET http://192.168.2.251:9200

# 返回一个 JSON 对象，包含当前节点、集群、版本等信息
{
  "name" : "yftool-db-elasticsearch-78f7896866-6qmsn",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "mb34onKKSr2InWHVNo1aAg",
  "version" : {
    "number" : "7.9.1",
    "build_flavor" : "default",
    "build_type" : "docker",
    "build_hash" : "083627f112ba94dffc1232e8b42b73492789ef91",
    "build_date" : "2020-09-01T21:22:21.964974Z",
    "build_snapshot" : false,
    "lucene_version" : "8.6.2",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

2 基本概念

2.1 Node 与 Cluster

  • Elasticsearch 本质上是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个 Elasticsearch 实例。

  • 单个 Elasticsearch 实例称为一个节点（node）。

  • 一组节点构成一个集群（cluster）。

2.2 Index

  • Elasticsearch 会索引所有字段，经过处理后写入一个反向索引（Inverted Index）。查找数据的时候，直接查找该索引。

  • 所以，Elasticsearch 数据管理的顶层单位就叫做 Index（索引）。它是单个数据库的同义词。

  • 每个 Index （即数据库）的名字必须是小写。

# 查看当前节点的所有 Index
GET 'http://192.168.2.251:9200/_cat/indices?v'

health status index           uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   news            Du-H_btHQ6e3t3MxJEaAWg   1   1      78565            0    262.8mb        262.8mb
yellow open   nginx           wFbtCIBwRaGEM7TsfBnPdA   1   1     335843            0     10.2mb         10.2mb
yellow open   due_search_news yXeJv7e8T6iyTKSho1Y_8w   1   1       1696            0    374.9kb        374.9kb
yellow open   nginx2          yux1FaBcRCSDpcuGyWGw2Q   1   1      64435            0      2.1mb          2.1mb

2.3 Document

  • Index 里面单条的记录称为 Document（文档）。许多条 Document 构成了一个 Index。

  • Document 使用 JSON 格式表示，下面是一个例子。

    {
  "user": "张三",
  "title": "工程师",
  "desc": "数据库管理"
}

  • 同一个 Index 里面的 Document，不要求有相同的结构（scheme），但是最好保持相同，这样有利于提高搜索效率。

2.4 Type

  • Document 可以分组，比如weather这个 Index 里面，可以按城市分组（北京和上海），也可以按气候分组（晴天和雨天）。这种分组就叫做 Type，它是虚拟的逻辑分组，用来过滤 Document。

  • 不同的 Type 应该有相似的结构（schema），举例来说，id字段不能在这个组是字符串，在另一个组是数值。这是与关系型数据库的表的一个区别。

  • 性质完全不同的数据（比如products和logs）应该存成两个 Index，而不是一个 Index 里面的两个 Type（虽然可以做到）。

  • Elasticsearch 6.x 版只允许每个 Index 包含一个 Type，7.x 版已经彻底移除 Type。（默认为：_doc）

3 新建和删除 Index

  • 新建 Index，可以直接向 Elasticsearch 服务器发出 PUT 请求。下面的例子是新建一个名叫weather的 Index。

    PUT http://192.168.2.251:9200/weather

  • 服务器返回一个 JSON 对象，里面的acknowledged字段表示操作成功。

    {
    "acknowledged": true,
    "shards_acknowledged": true,
    "index": "weather"
}

  • 然后，我们发出 DELETE 请求，删除这个 Index。

    DELETE http://192.168.2.251:9200/weather

{
    "acknowledged": true
}

4 中文分词设置

  • 首先，安装中文分词插件。这里使用的是 ik，也可以考虑其他插件（比如 smartcn）。

    $ ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.9.1/elasticsearch-analysis-ik-7.9.1.zip

  • 上面代码安装的是7.9.1版的插件，与 Elasticsearch 7.9.1 配合使用。

  • 接着，重新启动 Elastic，就会自动加载这个新安装的插件。

  • 然后，新建一个 Index，指定需要分词的字段。这一步根据数据结构而异，下面的命令只针对本文。基本上，凡是需要搜索的中文字段，都要单独设置一下。

    PUT http://192.168.2.251:9200/accounts

{
    "mappings":{
        "properties":{
            "user":{
                "type":"text",
                "analyzer":"ik_max_word",
                "search_analyzer":"ik_max_word"
            },
            "title":{
                "type":"text",
                "analyzer":"ik_max_word",
                "search_analyzer":"ik_max_word"
            },
            "desc":{
                "type":"text",
                "analyzer":"ik_max_word",
                "search_analyzer":"ik_max_word"
            }
        }
    }
}

  • 上面代码中，首先新建一个名称为accounts的 Index，有三个字段：user、title、desc

  • 这三个字段都是中文，而且类型都是文本（text），所以需要指定中文分词器，不能使用默认的英文分词器。

  • Elasticsearch 的分词器称为 analyzer。我们对每个字段指定分词器。

"user": {
  "type": "text",
  "analyzer": "ik_max_word",
  "search_analyzer": "ik_max_word"
}
  • 上面代码中，analyzer是字段文本的分词器，search_analyzer是搜索词的分词器。ik_max_word分词器是插件ik提供的，可以对文本进行最大数量的分词。

5 数据操作

5.1 新增记录

  • 向指定的 Index发送 PUT 请求，就可以在 Index 里面新增一条记录。比如，向/accounts/person发送请求，就可以新增一条人员记录。

    PUT http://192.168.2.251:9200/accounts/_doc/1
{
  "user": "张三",
  "title": "工程师",
  "desc": "数据库管理"
}

  • 服务器返回的 JSON 对象，会给出 Index、Type、Id、Version 等信息。

    {
    "_index": "accounts",
    "_type": "_doc",
    "_id": "1",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 0,
    "_primary_term": 1
}

  • 如果你仔细看，会发现请求路径是/accounts/_doc/1，最后的1是该条记录的 Id。它不一定是数字，任意字符串（比如abc）都可以。

  • 新增记录的时候，也可以不指定 Id，这时要改成 POST 请求。

    POST http://192.168.2.251:9200/accounts/_doc
{
  "user": "李四",
  "title": "工程师",
  "desc": "系统管理"
}

  • 上面代码中，向/accounts/_doc发出一个 POST 请求，添加一个记录。这时，服务器返回的 JSON 对象里面，_id字段就是一个随机字符串。

    {
    "_index": "accounts",
    "_type": "_doc",
    "_id": "Ds25knwBPdZtIfHNf2y9",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 1,
    "_primary_term": 1
}

5.2 查看记录

  • 向/Index/_doc/Id发出 GET 请求，就可以查看这条记录。

    GET http://192.168.2.251:9200/accounts/_doc/1?pretty=true

  • 上面代码请求查看/accounts/_doc/1这条记录，URL 的参数pretty=true表示以易读的格式返回。

  • 返回的数据中，found字段表示查询成功，_source字段返回原始记录。

    {
    "_index": "accounts",
    "_type": "_doc",
    "_id": "1",
    "_version": 1,
    "_seq_no": 0,
    "_primary_term": 1,
    "found": true,
    "_source": {
        "user": "张三",
        "title": "工程师",
        "desc": "数据库管理"
    }
}

  • 如果 Id 不正确，就查不到数据，found字段就是false。

    GET http://192.168.2.251:9200/accounts/_doc/-1?pretty=true

# response
{
    "_index": "accounts",
    "_type": "_doc",
    "_id": "-1",
    "found": false
}

5.3 删除记录

  • 删除记录就是发出 DELETE 请求。

    DELETE http://192.168.2.251:9200/accounts/_doc/1

5.4 更新记录

  • 更新记录就是使用 PUT 请求，重新发送一次数据。

    PUT http://192.168.2.251:9200/accounts/_doc/1
{
    "user" : "张三",
    "title" : "工程师",
    "desc" : "数据库管理，软件开发"
}

    {
    "_index": "accounts",
    "_type": "_doc",
    "_id": "1",
    "_version": 2,
    "result": "updated",
    "_shards": {
        "total": 2,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 2,
    "_primary_term": 1
}

  • 上面代码中，我们将原始数据从"数据库管理"改成"数据库管理，软件开发"。 返回结果里面，有几个字段发生了变化。

    "_version" : 2,
"result" : "updated"

  • 可以看到，记录的 Id 没变，但是版本（version）从1变成2，操作类型（result）从created变成updated，这次不是新建记录。

6 数据查询

6.1 返回所有记录

  • 使用 GET 方法，直接请求/Index/_doc/_search，就会返回所有记录。

    GET http://192.168.2.251:9200/accounts/_doc/_search

# response
{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 2,
            "relation": "eq"
        },
        "max_score": 1.0,
        "hits": [
            {
                "_index": "accounts",
                "_type": "_doc",
                "_id": "Ds25knwBPdZtIfHNf2y9",
                "_score": 1.0,
                "_source": {
                    "user": "李四",
                    "title": "工程师",
                    "desc": "系统管理"
                }
            },
            {
                "_index": "accounts",
                "_type": "_doc",
                "_id": "1",
                "_score": 1.0,
                "_source": {
                    "user": "张三",
                    "title": "工程师",
                    "desc": "数据库管理，软件开发"
                }
            }
        ]
    }
}

  • 上面代码中，返回结果的 took字段表示该操作的耗时（单位为毫秒），timed_out字段表示是否超时，hits字段表示命中的记录，里面子字段的含义如下：

    • total：返回记录数，本例是2条。
    • max_score：最高的匹配程度，本例是1.0。
    • hits：返回的记录组成的数组。

  • 返回的记录中，每条记录都有一个_score字段，表示匹配的程序，默认是按照这个字段降序排列。

6.2 全文搜索

  • Elasticsearch 的查询非常特别，使用自己的查询语法，要求GET请求带有数据体。

    GET http://192.168.2.251:9200/accounts/_doc/_search
{
    "query":{
        "match":{
            "desc":"软件"
        }
    }
}

  • 上面代码使用 Match 查询，指定的匹配条件是desc字段里面包含"软件"这个词。返回结果如下：

    {
    "took": 70,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1,
            "relation": "eq"
        },
        "max_score": 0.6235748,
        "hits": [
            {
                "_index": "accounts",
                "_type": "_doc",
                "_id": "1",
                "_score": 0.6235748,
                "_source": {
                    "user": "张三",
                    "title": "工程师",
                    "desc": "数据库管理，软件开发"
                }
            }
        ]
    }
}

  • Elastic 默认一次返回10条结果，可以通过size字段改变这个设置。

    GET http://192.168.2.251:9200/accounts/_doc/_search
{
    "query":{
        "match":{
            "desc":"软件"
        }
    }
    "size": 1
}

  • 上面代码指定，每次只返回一条结果。

  • 还可以通过from字段，指定位移。

    GET http://192.168.2.251:9200/accounts/_doc/_search
{
    "query":{
        "match":{
            "desc":"软件"
        }
    }
    "from": 1,
    "size": 1
}

  • 上面代码指定，从位置1开始（默认是从位置0开始），只返回一条结果。

6.3 逻辑运算

  • 如果有多个搜索关键字， Elastic 认为它们是or关系。

    GET http://192.168.2.251:9200/accounts/_doc/_search
{
    "query":{
        "match":{
            "desc":"软件 系统"
        }
    }
}

  • 上面代码搜索的是软件 or 系统。

  • 如果要执行多个关键词的and搜索，必须使用布尔查询。

    GET http://192.168.2.251:9200/accounts/_doc/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "desc": "软件" } },
        { "match": { "desc": "系统" } }
      ]
    }
  }
}
「已注销」
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Elasticsearch入门教程
qq_34139393的博客
06-18 883
Elasticsearch入门教程
ElasticSearch搜索引擎教程实战篇
09-19
ElasticSearch搜索引擎教程实战篇是ElasticSearch搜索引擎的实践教程，旨在帮助读者从基础知识到高级应用掌握ElasticSearch搜索引擎的使用。该教程涵盖了ElasticSearch搜索引擎的基础概念、安装、配置、使用Kibana、...
全文搜索引擎 ElasticSearch 入门教程
一介那个书生的博客
08-18 2443
全文搜索属于最常见的需求，开源的 ElasticSearch （以下简称 Elastic）是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。
全文搜索引擎 Elasticsearch 入门教程
WGH100817的博客
11-21 96
全文搜索属于最常见的需求，开源的 Elasticsearch （以下简称 Elastic）是目前全文搜索引擎的首选。 ...
elasticSearch 教程
Terry - 专注外贸B2C
11-05 650
入门教程 http://www.jianshu.com/p/f437b893502a 权威指南 http://es.xiaoleilu.com/
ElasticSearch教程
baiofchao
01-15 824
ElasticSearch教程
分布式搜索引擎Elasticsearch开发实战基础篇
06-09
2. 实战教程：例如本教程“分布式搜索引擎Elasticsearch开发实战基础篇”，通过实例讲解加深理解。 3. 开源社区：Stack Overflow、GitHub等平台上有丰富的问答和代码示例。 总之，Elasticsearch作为一款强大的搜索...
ElasticSearch入门和基础（高清视频教程）.rar
01-21
Elasticsearch是一个开源的全文搜索引擎，它被广泛应用于大数据分析和实时搜索领域。这个"**ElasticSearch入门和基础（高清视频教程）**"显然旨在为初学者提供一个全面了解和学习Elasticsearch的平台。在视频教程中...
Elasticsearch基础教程.pdf
最新发布
07-15
### Elasticsearch基础教程知识点详解 #### 一、Elasticsearch简介 Elasticsearch是一款基于Lucene的分布式搜索引擎，它提供了一套完整的解决方案，包括全文搜索、结构化搜索等，并且能够实时地存储、检索数据。...
分布式搜索引擎Elasticsearch开发实战基础篇 （ElasticSearch、ELK、搜索引擎、Lucene）.rar
11-11
分享一套完整版视频课程——分布式搜索引擎Elasticsearch开发实战基础篇 （ElasticSearch、ELK、搜索引擎、Lucene），本教程旨在带领大家进入搜索引擎领域，从无到有，深入浅出的讲解了什么是搜索引擎，搜索引擎的...
Elasticsearch教程
m0_64171591的博客
11-20 247
Elasticsearch基础教程 ​ Elasticsearch是一个实时的分布式搜索分析引擎，底层基于Lucene实现。它提供了一个分布式多用户能力的全文搜索引擎，并且客户端可以使用标准的RESTful进行访问。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 ​ 传统的搜索做法主要以是基于系统或应用的查询功能进行查找，或者使用数据库的模糊
Elasticsearch 教程
weixin_68651384的博客
07-03 2644
POST /索引库名/类型/id值...
Elasticsearch安装教程
m0_62985615的博客
03-20 1360
Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式的全文搜索引擎，基于restful web接口。Elasticsearch是用Java语言开发的，基于Apache协议的开源项目，是目前最受欢迎的企业搜索引擎。Elasticsearch广泛运用于云计算中，能够达到实时搜索，具有稳定，可靠，快速的特点。注意：Elasticsearch、Kibana、ik分词器的版本要保持一致。
ElasticSearch入门教程
沈洋的博客
04-29 286
文章目录概述ElasticSearch是什么？Elasticsearch与Solr的比较安装教程基本概念元数据基础增删改查新增使用自定义id使用自动生成的id基本检索根据id查询查询所有分页查询轻量查询（字符串查询）判断是否存在更新删除多索引多类型查询分布式副本与分片主分片和副本分片如何交互数据查询过程数据新增和更新集群中的分页数据写入并发控制倒排索引分词器使用es的标准分词器使用ik分词器之ik_max_word使用ik分词器之ik_smartik_max_word和ik_smart的区别映射简单域类型t
elasticsearch使用教程
a289237642的博客
07-30 1093
下载完elasticsearch安装包以后，执行启动命令。 $ cd elasticsearch-6.3.0/bin $ ./elasticsearch 当然，提前要看一下java有没有安装，至少要java8以上。 查看集群健康状况。 curl -X GET "localhost:9200/_cat/health?v" 查看节点状态。 curl -X GET "localh...
ElasticSearch 入门教程
Wisimer
12-05 277
一、docker 搭建elasticsearch+kibana Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 kibana 是一个开源和免费的工具，它可以为 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 （1）es： docker pull elasticsearch:7.1.1 docker network cr
尚硅谷Elasticsearch教程：全文搜索引擎解析
Elasticsearch（ES）应运而生，作为一个开源、高扩展性的分布式全文搜索引擎，它是Elastic Stack（包含Elasticsearch、Kibana、Beats和Logstash，旧称ELK Stack）的核心组件，旨在解决这一问题。 Elasticsearch不仅...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值