ElasticSearch基础入门

ElasticSearch基础入门

小注解:全原创,一个字一个字敲的,全测试过了,可以跑通,猿猴们,欢迎大家点点关注,收藏点赞走起,持续更新原创文档,通俗易懂

1.核心概念

1.1 索引(Index)

  • 白话:相当于mysql的数据库
  • 一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品目录的索引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母),并且当我们要对这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字。在一个集群中,可以定义任意多的索引。能搜索的数据必须索引,这样的好处是可以提高查询速度,比如:新华字典前面的目录就是索引的意思,目录可以提高查询速度。
  • ElasticSearch索引的精髓:一切设计都是为了提高搜索的性能

1.2 类型(Type)

  • 白话:相当于mysql的表,不过es是直接索引对应文档的,这个type没意义,7.0以上后就被弃用了
  • 在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区,其语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。不同的版本,类型发生了不同的变化==(类型其实毫无意义)==
  • 在这里插入图片描述

1.3 文档(Document)

  • 白话:文档就相当于mysql中表中的一行行数据,一条文档=一条数据(由JSON组成的数据)
  • 一个文档是一个可被索引的基础信息单元,也就是一条数据,比如:你可以拥有某一个客户的文档,某一个产品的一个文档,当然,也可以拥有某个订单的一个文档。文档以 JSON(Javascript Object Notation)格式来表示,而 JSON 是一个到处存在的互联网数据交互格式。在一个 index/type 里面,你可以存储任意多的文档。

1.4 字段(Field)

  • 白话:字段相当于mysql中表的字段(列),比如age年龄字段,name名称字段
  • 相当于是数据表的字段,对文档数据根据不同属性进行的分类标识。

1.5 映射(Mapping)

  • 白话:定义规格,比如某个字段是否可以被索引等等
  • mapping 是处理数据的方式和规则方面做一些限制,如:某个字段的数据类型、默认值、分析器、是否被索引等等。这些都是映射里面可以设置的,其它就是处理 ES 里面数据的一些使用规则设置也叫做映射,按着最优规则处理数据对性能提高很大,因此才需要建立映射,并且需要思考如何建立映射才能对性能更好。

1.6 分片(Shards)

  • 白话:类似mysql中的水平分表,一个表存多了搜索起来卡,就分成多个表进行存储,作用:缓解压力,提高吞吐量

  • 一个索引可以存储超出单个节点硬件限制的大量数据。比如,一个具有 10 亿文档数据的索引占据 1TB 的磁盘空间,而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求,响应太慢。为了解决这个问题,Elasticsearch 提供了将索引划分成多份的能力,每一份就称之为分片。当你创建一个索引的时候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”,这个“索引”可以被放置到集群中的任何节点上。

  • 分片很重要,主要有两方面的原因:

    1. 允许你水平分割 / 扩展你的内容容量。
    2. 允许你在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量。
  • 至于一个分片怎样分布,它的文档怎样聚合和搜索请求,是完全由 Elasticsearch 管理的,对于作为用户的你来说,这些都是透明的,无需过分关心。

  • 被混淆的概念是,一个Lucene索引 我们在Elasticsearch称作 分片 。 一个Elasticsearch索引 是分片的集合。 当Elasticsearch在索引中搜索的时候, 他发送查询到每一个属于索引的分片(Lucene索引),然后合并每个分片的结果到一个全局的结果集。

1.7 副本(Replicas)

  • 白话:副本相当于备份,如果分片挂了,副本顶上,还能进行负载均衡,分片和副本两个切换着来使用,集群环境下,副本是存储在其他集群节点上的,为了保证高可用。
  • 在一个网络 / 云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因消失了,这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch 允许你创建分片的一份或多份拷贝,这些拷贝叫做复制分片(副本)。
  • 复制分片之所以重要,有两个主要原因:
    • 在分片/节点失败的情况下,提供了高可用性。因为这个原因,注意到复制分片从不与原/主要(original/primary)分片置于同一节点上是非常重要的。
    • 扩展你的搜索量/吞吐量,因为搜索可以在所有的副本上并行运行。
    • 总之,每个索引可以被分成多个分片。一个索引也可以被复制 0 次(意思是没有复制)或多次。一旦复制了,每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和复制的数量可以在索引创建的时候指定。在索引创建之后,你可以在任何时候动态地改变复制的数量,但是你事后不能改变分片的数量。默认情况下,Elasticsearch 中的每个索引被分片 1 个主分片和 1 个复制,这意味着,如果你的集群中至少有两个节点,你的索引将会有 1 个主分片和另外 1 个复制分片(1 个完全拷贝),这样的话每个索引总共就有 2 个分片,我们需要根据索引需要确定分片个数。

1.8 分配(Allocation)

  • 白话:也就是分配规格,集群下如果有3个节点,其中一个是主节点,由主节点来分配分片副本的规格,参考下面系统架构的图

    P:分片

    R:副本

  • 将分片分配给某个节点的过程,包括分配主分片或者副本。如果是副本,还包含从主分片复制数据的过程。这个过程是由 master 节点完成的。

##2.ElasticSearch索引概念

2.1 正排索引

  • 在这里插入图片描述

  • 根据索引id查询value(根据key查询value)

2.2 倒排索引

  • 在这里插入图片描述

  • 根据值查询id(根据value查询key)

    • es会先对value进行拆分(分词),value会对应相对应的id,查询的时候会根据这个value查询所对应的一些id

3.索引操作

3.1 创建索引

  • 对比关系型数据库,创建索引就相当于创建数据库

  • 向ES服务器发送PUT请求:http://127.0.0.1:9200/索引名(数据库名)

  • 文档类型

    • text 可被分词
    • keyword 不可被分词
  • index 是否索引

    • true 可以被索引(默认)
    • false 不可被索引(搜索不到)
  • PUT 索引名
    {
      "mappings": {
        "properties": {
          "name":{
            "type": "text" //text可被分词
            , "index": true
          },
          "sex":{
            "type": "keyword" //keyword 不可被分词
            ,"index": true
          },
          "tel":{
            "type": "keyword"
            ,"index": false //index = false 不可被索引
          }
        }
      }
    

3.2 获取索引信息

  • 向ES服务器发送GET请求:http://127.0.0.1:9200/索引名(数据库名)

3.3 获取所有索引

  • 向ES服务器发送GET请求:http://127.0.0.1:9200/_cat/indices?v

3.4 删除索引

  • 向ES服务器发送DELETE请求:http://127.0.0.1:9200/索引名(数据库名)

4.文档操作

4.1 创建文档

  • 文档=数据
  • 可以PUT也可以POST
  • PUT:http://127.0.0.1:9200/索引名/_doc/id
  • POST:http://127.0.0.1:9200/索引名/_doc/id(id可选操作,有id则以id为标准,没有id则随机生成)

4.2 查询文档-简单查询(根据ID查询)

  • 向ES服务器发送GET请求:http://127.0.0.1:9200/索引名/_doc/id

4.3 修改文档

  • 全局修改

    • 向ES服务器发送PUT请求:http://127.0.0.1:9200/索引名/_doc/id
    • 请求体发送JSON
  • 局部修改

    • 向ES服务器发送POST请求:http://127.0.0.1:9200/索引名/_doc/id/_update

    • 请求体发送JSON,修改内容包含在doc里面

      •  {
             "doc":{
                 "price": 15999.00
             }
         }
        

4.4 删除文档

  • 向ES服务器发送POST请求:http://127.0.0.1:9200/索引名/_doc/id

4.5 条件查询

  1. 向ES服务器发送==GET==请求:http://127.0.0.1:9200/索引名/_search/q=key:value

4.6 复杂查询

  1. 向ES服务器发送GET请求:http://127.0.0.1:9200/索引名/_search

  2. 参数说明

    1. query 条件

      • {
            "query": {}
        }
        
    2. match: 匹配

      • {
            "query": {
                "match": {
                    "category": "小米" // key:字段名 value:查询值
                }
            }
        }
        
    3. match_phrase 完全匹配 比如小米 那么一段话中小和米两个字必须挨在一起

      • {
            "query": {
                "match_phrase": {
                    "category": "小米"
                }
            }
        }
        
    4. match_all 查询所有(一般分页查询)

      • {
            "query": {
                "match_all": {}
            }
        }
        
      • 分页查询

      • from:从第几条开始查询

      • size:查询几条

      • {
            "query": {
                "match_all": {}java
            },
            "from": 0, //从第几条开始查询(偏移量)
            "size": 2 //每页显示多少条
        }
        
    5. _source 数据源控制(查出你所需要的字段列)

      • {
            "query": {
                "match_all": {}
            },
            "_source": [ //需要显示的字段名
                "title",
                "price"
            ]
        }
        
    6. sort 排序

      • {
            "query": {
                "match_all": {}
            },
            "sort": {
                "price": { //需要排序的字段
                    "order": "desc" //key:固定的order value可选asc升序 desc降序
                }
            }
        }
        

4.7 must 多条件查询

  1. must 相当于mysql中的and

  2. should 相当于mysql中的or

  3. must_not 与must相反 must是必须全部匹配 must_not是必须全部不匹配

  4. filter 过滤

    1. range 范围查询
      • gt 大于
      • lt 小于
      • gte 大于等于
      • lte 小于等于
  5. {
        "query": {
            "bool": {
                "must": [
                    {
                        "match": {
                            "category": "小米"
                        }
                    },
                    {
                        "match": {
                            "price": 3999
                        }
                    }
                ],
                "filter": { //过滤
                    "range": { //范围查询
                        "price": { //字段
                            "gt": 3000 //gt表示大于
                        }
                    }
                }
            }
        }
    }
    

4.8 highlight 高亮查询显示

  1. 使用highlight属性来实现结果高亮显示,需要的字段名称添加到fields内即可,elasticsearch会自动帮我们实现高亮。

    • {
          "query": {
              "match_phrase": {
                  "category": "小米"
              }
          },
          "highlight": {
              "fields": {
                  "category": {}//高亮字段
              }
          }
      }
      
  2. 自定义高亮显示

    1. pre_tags 以什么标签开头

    2. post_tags 以什么标签结尾

    3. {
          "query": {
              "match_phrase": {
                  "category": "小米"
              }
          },
          "highlight": {
              "pre_tags": "<span style='color:red'>",
              "post_tags": "</span>",
              "fields": {
                  "category": {}
              }
          }
      }
      

4.9 聚合查询

  1. terms 分组

    • 默认会显示原始数据 不需要原始数据加上size:0

    • {
          "aggs": { //聚合操作
              "price_group": { //给聚合操作取名字 比如这里是对价格分组
                  "terms": { //分组
                      "field": "price" //分组字段
                  }
              }
          },
          "size": 0 //可选 不加则显示原始数据 加了则不显示
      }
      
  2. avg 平均值

    • 默认会显示原始数据 不需要原始数据加上size:0

    • {
          "aggs": { //聚合操作
              "price_group": { //给聚合操作取名字 比如这里是对价格分组
                  "avg": { //分组
                      "field": "price" //分组字段
                  }
              }
          },
          "size": 0 //可选 不加则显示原始数据 加了则不显示
      }
      

5.部署

5.1 概述

​ 单台ElasticSearch服务器提供服务,往往都有最大的负载能力,超过这个阀值,服务器的性能就会大大的降低,甚至不可用,所以生产环境中,一般都是运行在指定服务器集群中

除了负载能力,单点服务器也存在其他问题

  • 单台服务器存储容量有限
  • 单服务器容易出现单点故障无法实现高可用
  • 单服务的并发处理能力有限

配置服务器集群时,集群中节点数量没有限制大于等于2个节点就可以看作是一个集群,一般出于高性能及高可用方面来考虑,集群中节点数量都是大于3个

5.2 Linux部署单机elasticSearch

  1. 下载elasticSearch 地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch

    • 在这里插入图片描述
  2. 解压elasticSearch压缩包

    • tar zxvf 文件名
      
  3. 新建es用户

    • useradd es #新增 es 用户
      passwd es #为 es 用户设置密码
      userdel -r es #如果错了,可以删除再加
      chown -R es:es es目录 #赋予文件夹所有者
      
  4. 修改elasticSearch目录中config/elasticSearch.yml配置文件

    • cluster.name: elasticsearch #集群名称
      node.name: node-1 #节点名称
      network.host: 0.0.0.0
      http.port: 9200 #端口号
      cluster.initial_master_nodes: ["node-1"] #表示把当前机器当作主节点
      
  5. 修改系统文件vim /etc/security/limits.conf

    • # 在文件末尾中增加下面内容
      # 每个进程可以打开的文件数的限制
      es soft nofile 65536
      es hard nofile 65536
      
  6. 修改系统文件vim /etc/security/limits.d/20-nproc.conf

    • # 在文件末尾中增加下面内容
      # 每个进程可以打开的文件数的限制
      es soft nofile 65536
      es hard nofile 65536
      
  7. 修改系统文件vim /etc/sysctl.conf

    • # 在文件中增加下面内容
      # 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
      vm.max_map_count=655360
      
  8. 重新加载

    • sysctl -p
      
  9. 启动软件

    1. 使用 ES 用户启动

      • cd es目录
        #启动
        bin/elasticsearch
        #后台启动
        bin/elasticsearch -d
        
      • 启动时,会动态生成文件,如果文件所属用户不匹配,会发生错误,需要重新进行修改用户和用户组(参考5.2-3)

      • 在这里插入图片描述

      • 关闭防火墙

        • #暂时关闭防火墙
          
          systemctl stop firewalld
          
          #永久关闭防火墙
          
          systemctl enable firewalld.service #打开放货抢永久性生效,重启后不会复原
          
          systemctl disable firewalld.service #关闭防火墙,永久性生效,重启后不会复原
          

5.4 linux部署集群elasticSearch

  1. 下载elasticSearch 地址:点击此处打开elasticSearch下载地址

    • 在这里插入图片描述
  2. 解压elasticSearch压缩包

    • tar zxvf 文件名
      
  3. 新建es用户

    • useradd es #新增 es 用户
      passwd es #为 es 用户设置密码
      userdel -r es #如果错了,可以删除再加
      chown -R es:es es目录 #赋予文件夹所有者
      
  4. 修改elasticSearch目录中config/elasticSearch.yml配置文件

    • cluster.name: elasticsearch #集群名称
      node.name: node-1 #节点名称
      network.host: 0.0.0.0
      http.port: 9200 #端口号
      cluster.initial_master_nodes: ["node-1"] #表示把当前机器当作主节点
      
  5. 修改系统文件vim /etc/security/limits.conf

    • # 在文件末尾中增加下面内容
      # 每个进程可以打开的文件数的限制
      es soft nofile 65536
      es hard nofile 65536
      
  6. 修改系统文件vim /etc/security/limits.d/20-nproc.conf

    • # 在文件末尾中增加下面内容
      # 每个进程可以打开的文件数的限制
      es soft nofile 65536
      es hard nofile 65536
      
  7. 修改系统文件vim /etc/sysctl.conf

    • # 在文件中增加下面内容
      # 一个进程可以拥有的 VMA(虚拟内存区域)的数量,默认值为 65536
      vm.max_map_count=655360
      
  8. 重新加载

    • sysctl -p
      
  9. 每台服务器都重复1-8的操作

  10. 修改config/elasticsearch.yml配置文件

    • 每台节点的配置文件都一样,只需要修改两个地方

      1. 第三行 node.name 保持唯一(随便起名,保持唯一就行)
      2. 第六行 network.host 保持唯一(当前节点内网ip)
    • 第20行cluster.initial_master_nodes: [“node-1”] 中的"node-1"填写主节点的node.name即可

    • 解:文件中的linux1 linux2 linux3是配置的/etc/hosts文件,可以用内网ip来代替,比如:

      1. 192.168.1.11 linux1
      2. 192.168.1.12 linux2
      3. 192.168.1.13 linux3
    • #集群名称
      cluster.name: cluster-es
      #节点名称,每个节点的名称不能重复
      node.name: node-1
      #ip 地址,每个节点的地址不能重复
      network.host: linux1
      #当前节点是否参与选举主节点资格
      node.master: true
      #当前节点是否存储数据
      node.data: true
      #端口号
      http.port: 9200
      #内网TCP传输监听端口
      transport.tcp.port: 9300
      #跨域配置 head插件需要这打开这两个配置 
      http.cors.allow-origin: "*"
      http.cors.enabled: true
      http.max_content_length: 200mb
      #es7.x 之后新增的配置,初始化一个新的集群时需要此配置来选举 master
      cluster.initial_master_nodes: ["node-1"]
      #es7.x 之后新增的配置,节点发现
      discovery.seed_hosts: ["linux1:9300","linux2:9300","linux3:9300"]
      gateway.recover_after_nodes: 2
      network.tcp.keep_alive: true
      network.tcp.no_delay: true
      transport.tcp.compress: true
      #集群内同时启动的数据任务个数,默认是 2 个
      cluster.routing.allocation.cluster_concurrent_rebalance: 16
      #添加或删除节点及负载均衡时并发恢复的线程个数,默认 4 个
      cluster.routing.allocation.node_concurrent_recoveries: 16
      #初始化数据恢复时,并发恢复线程的个数,默认 4 个
      cluster.routing.allocation.node_initial_primaries_recoveries: 16
      
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

现实理想主义中的猿猴

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值