分布式搜索引擎——elasticsearch（三）

已于 2022-10-15 15:10:41 修改
阅读量385 收藏 1
点赞数
分类专栏： 微服务技术 文章标签： elasticsearch 搜索引擎
于 2021-10-01 17:00:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56697114/article/details/120567461
版权

目录

1、数据聚合

1、Bucket聚合

 2、Metric聚合

 3、RestClient操作

2、自动补全

 completion suggester查询

 3、数据同步

4、es集群 

ES集群的脑裂 

ES集群的分布式存储 

ES集群的故障转移 

1、数据聚合

聚合可以实现对文档数据的统计、分析、运算。聚合常见的有三类：

  • 桶（Bucket）聚合：用来对文档做分组
  • TermAggregation：按照文档字段值分组
  • Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组
  • 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等
  • Avg：求平均值
  • Max：求最大值
  • Min：求最小值
  • Stats：同时求max、min、avg、sum等
  • 管道（pipeline）聚合：其它聚合的结果为基础做聚合
  • ​

1、Bucket聚合

默认情况下，Bucket聚合会统计Bucket内的文档数量，记为_count，并且按照_count降序排序。

默认情况下，Bucket聚合是对索引库的所有文档做聚合，我们可以限定要聚合的文档范围，只要添加query条件即可

 

 2、Metric聚合

 

 3、RestClient操作

 

 

        request.source().size(0);
        request.source().aggregation(
                AggregationBuilders.terms("brandAgg").field("brand").size(20)
        );

        SearchResponse search = client.search(request, RequestOptions.DEFAULT);

        Aggregations aggregations = search.getAggregations();
        Terms brandAgg = aggregations.get("brandAgg");
        List<? extends Terms.Bucket> list = brandAgg.getBuckets();
        for (Terms.Bucket bucket : list) {
            String key = bucket.getKeyAsString();
            System.out.println(key);
        }

2、自动补全

拼音分词器 

 

 我们可以在创建索引库时，通过settings来配置自定义的analyzer（分词器）：

 

PUT /test
{
  "settings": {
    "analysis": {
      "analyzer": { 
        "my_analyzer": { 
          "tokenizer": "ik_max_word",
          "filter": "py"
        }
      },
      "filter": {
        "py": { 
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name":{
        "type": "text",
        "analyzer": "my_analyzer"
      }
    }
  }
}

 

 拼音分词器适合在创建倒排索引的时候使用，但不能在搜索的时候使用。

 因此字段在创建倒排索引时应该用my_analyzer分词器；字段在搜索时应该使用ik_smart分词器;

 

 completion suggester查询

elasticsearch提供了Completion Suggester查询来实现自动补全功能。这个查询会匹配以用户输入内容开头的词条并返回。为了提高补全查询的效率，对于文档中字段的类型有一些约束：

  • 参与补全查询的字段必须是completion类型。
  • 字段的内容一般是用来补全的多个词条形成的数组。

 

PUT /hotel
{
  "settings": {
    "analysis": {
      "analyzer": {
        "text_anlyzer": {
          "tokenizer": "ik_max_word",
          "filter": "py"
        },
        "completion_analyzer": {
          "tokenizer": "keyword",
          "filter": "py"
        }
      },
      "filter": {
        "py": {
          "type": "pinyin",
          "keep_full_pinyin": false,
          "keep_joined_full_pinyin": true,
          "keep_original": true,
          "limit_first_letter_length": 16,
          "remove_duplicated_term": true,
          "none_chinese_pinyin_tokenize": false
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "id":{
        "type": "keyword"
      },
      "name":{
        "type": "text",
        "analyzer": "text_anlyzer",
        "search_analyzer": "ik_smart",
        "copy_to": "all"
      },
      "address":{
        "type": "keyword",
        "index": false
      },
      "price":{
        "type": "integer"
      },
      "score":{
        "type": "integer"
      },
      "brand":{
        "type": "keyword",
        "copy_to": "all"
      },
      "city":{
        "type": "keyword"
      },
      "starName":{
        "type": "keyword"
      },
      "business":{
        "type": "keyword",
        "copy_to": "all"
      },
      "location":{
        "type": "geo_point"
      },
      "pic":{
        "type": "keyword",
        "index": false
      },
      "all":{
        "type": "text",
        "analyzer": "text_anlyzer",
        "search_analyzer": "ik_smart"
      },
      "suggestion":{
          "type": "completion",
          "analyzer": "completion_analyzer"
      }
    }
  }
}

 

    @Test
    void test6() throws IOException {
        SearchRequest request = new SearchRequest("hotel");

        request.source().suggest(new SuggestBuilder().addSuggestion(
                "suggestions",
                SuggestBuilders.completionSuggestion("suggestion")
                .prefix("h")
                .skipDuplicates(true)
                .size(10)
        ));

        SearchResponse search = client.search(request, RequestOptions.DEFAULT);

        Suggest suggest = search.getSuggest();
        CompletionSuggestion suggestion = suggest.getSuggestion("suggestions");
        List<CompletionSuggestion.Entry.Option> options = suggestion.getOptions();
        for (CompletionSuggestion.Entry.Option option : options) {
            String string = option.getText().toString();
            System.out.println(string);
        }
    }

 3、数据同步

 elasticsearch中的酒店数据来自于mysql数据库，因此mysql数据发生改变时，elasticsearch也必须跟着改变，这个就是elasticsearch与mysql之间的数据同步。

 

4、es集群 

单机的elasticsearch做数据存储，必然面临两个问题：海量数据存储问题、单点故障问题。

  • 海量数据存储问题：将索引库从逻辑上拆分为N个分片（shard），存储到多个节点
  • 单点故障问题：将分片数据在不同节点备份（replica ）

 

es运行需要修改一些linux系统权限，修改`/etc/sysctl.conf`文件

vi /etc/sysctl.conf

添加下面的内容：

vm.max_map_count=262144

然后执行命令，让配置生效：

sysctl -p

 编写一个docker-compose文件

version: '2.2'
services:
  es01:
    image: elasticsearch:7.12.1
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster  //集群名称一样，会自动形成集群
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
  es02:
    image: elasticsearch:7.12.1
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - data02:/usr/share/elasticsearch/data
    ports:
      - 9201:9200
    networks:
      - elastic
  es03:
    image: elasticsearch:7.12.1
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - data03:/usr/share/elasticsearch/data
    networks:
      - elastic
    ports:
      - 9202:9200
volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

 启动集群

docker-compose up -d

 集群状态监控

 使用cerebro来监控es集群状态，官方网址：https://github.com/lmenezes/cerebro

 

 localhost:9000

 

 

 或

PUT /itcast
{
  "settings": {
    "number_of_shards": 3, // 分片数量
    "number_of_replicas": 1 // 副本数量，给每个片加一个副本
  },
  "mappings": {
    "properties": {
      // mapping映射定义 ...
    }
  }
}

 

 elasticsearch中的每个节点角色都有自己不同的职责，因此建议集群部署时，每个节点都有独立的角色。

 

ES集群的脑裂 

默认情况下，每个节点都是master eligible节点，因此一旦master节点宕机，其它候选节点会选举一个成为主节点。当主节点与其他节点网络故障时，可能发生脑裂问题。

为了避免脑裂，需要要求选票超过 ( eligible节点数量 + 1 ）/ 2 才能当选为主，因此eligible节点数量最好是奇数。对应配置项是discovery.zen.minimum_master_nodes，在es7.0以后，已经成为默认配置，因此一般不会发生脑裂问题

 

ES集群的分布式存储 

当新增文档时，应该保存到不同分片，保证数据均衡，那么coordinating node如何确定数据该存储到哪个分片呢？

elasticsearch会通过hash算法来计算文档应该存储到哪个分片：

 

  • _routing默认是文档的id
  • 算法与分片数量有关，因此索引库一旦创建，分片数量不能修改！

 查询：

elasticsearch的查询分成两个阶段：

  • scatter phase：分散阶段，coordinating node会把请求分发到每一个分片
  • gather phase：聚集阶段，coordinating node汇总data node的搜索结果，并处理为最终结果集返回给用户

 

ES集群的故障转移 

 集群的master节点会监控集群中的节点状态，如果发现有节点宕机，会立即将宕机节点的分片数据迁移到其它节点，确保数据安全，这个叫做故障转移。

 

但盼风雨来 能留你在此
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【仿牛客网笔记】Elasticsearch，分布式搜索引擎——Elasticsearch入门
xue_hua_c的博客
11-14 356
Restful是一种设计风格，这种风格规定了前后端应该按照什么标准交互，不同类型的Http的请求的请求的格式是什么样的，请求标准的一种描述。采用集群分布式部署，每一台服务器称为节点，分片是对索引的进一步划分，副本是对分片的备份。7.0的时候废弃掉了。ES中的文档和数据库中的表的一行，文档通常采用的是js结构，js中每一个属性叫字段。支持结构化的数据，非结构化的数据也可以，即各种类型的数据通过它都可以。具体的搜索条件可以通过body提交，通过请求体提交复杂的请求。ES中的类型和数据库中的table表想对应。
分布式搜索引擎ElasticSearch思维导图
最新发布
11-17
分布式搜索引擎ElasticSearch思维导图，ES思维带图。分布式搜索引擎ElasticSearch思维导图，ES思维带图。分布式搜索引擎ElasticSearch思维导图，ES思维带图。分布式搜索引擎ElasticSearch思维导图，ES思维带图。...
springCloud学习【6】之分布式搜索引擎(3)
缘友一世的博客
03-31 445
本文学自黑马，并且经过认真学习后，整理总结，不是照搬！！关于实际操作部分，建议学习者，多动手，认真分析！！！该部分对电脑要求稍高，请学习者注意升级电脑配置！！！默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分词器做个性化定制，形成自定义分词器。：在tokenizer之前对文本进行处理。例如删除字符、替换字符tokenizer：将文本按照一定的规则切割成词条（term）。例如keyword，就是不分词；还有ik_smart。
分布式搜索引擎——elasticsearch搜索功能
jihuaTEL的博客
05-07 2343
Elasticsearch提供了基于JSON的DSL ()来定义查询。
分布式搜索引擎——elasticsearch（一）
weixin_56697114的博客
09-28 203
1、认识elasticsearch 正向索引和倒排索引 elasticsearch采用倒排索引： 文档（document）：每条数据就是一个文档 词条（term）：文档按照语义分成的词语 倒排索引中包含两部分内容： 词条词典（Term Dictionary）：记录所有词条，以及词条与倒排列表（Posting List）之间的关系，会给词条创建索引，提高查询和插入效率 倒排列表（Posting List）：记录词条所在的文档id、词条出现频率 、词条在文档中的位置等信息 ...
分布式搜索引擎——elasticsearch（二）
weixin_56697114的博客
09-30 144
1、DSL查询语法 常见的查询类型包括： 查询所有：查询出所有数据，一般测试用。例如：match_all 全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如： match_query multi_match_query 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如： ids range：根据值的范围查询 term：根据词条精确值查询 地理（geo）查询：根据经纬度查询。例如：
ElasticSearch分布式搜索引擎——从入门到精通
不吃紫菜的博客
02-05 1028
ES分布式搜索引擎 注意： 在没有创建库的时候搜索，ES会创建一个库并自动创建该字段并且设置为String类型也就是text 什么是elasticsearch？ 一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能 什么是elastic stack(ELK)？ 是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elast...
一篇了解分布式实时搜索引擎——Elasticsearch
vic_torsun的博客
03-21 1876
什么是Elasticsearch？ Elasticsearch是一款分布式实时搜索引擎，内部基于Lucene做索引与搜索。 上面这段简短的介绍有几个关键字值得注意：实时，实时意味着ES的数据在入库后1s内就可以被搜索到。分布式，ES支持动态调整集群规模，弹性扩容。Lucene则是一款全文搜索框架，提供建立索引和执行搜索的功能，但是并不包含分布式服务。目前除了搜索，ES还提供了大量的聚合功能，所以它不仅仅是一款搜索引擎，还可以进行数据分析、统计，生成指标数据，所有这些功能都在快速迭代。 文章目录1. 基本
分布式搜索引擎 ElasticSearch（ES）
yueyue763184的博客
12-02 6544
elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容。elasticsearch结合、Logstash、Beats，也就是elastic stack（ELK），被广泛应用在日志数据分析、实时监控等领域。而elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。
分布式搜索——Elasticsearch
m0_56188609的博客
10-31 695
elasticsearch是一款非常强大的开源分布式搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK：以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch）。被广泛应用在日志数据分析、实时监控等领域elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。
ElasticSearch分布式搜索引擎 v8.2.2
06-23
Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成，由 Elasticsearch N.V....
ElasticSearch分布式搜索引擎 v6.2.4
10-13
ElasticSearch 是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。
ElasticSearch分布式搜索引擎 v6.7.0
10-02
ElasticSearch 是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使用JSON进行数据索引。
分布式搜索引擎Elasticsearch开发实战基础篇
06-09
本教程旨在带领大家进入搜索引擎领域，从无到有，深入浅出的讲解了什么是搜索引擎，搜索引擎的作用以及ElasticSearch在实际工作中的作用等。
RocketMQ（一）—— 基本使用
weixin_56697114的博客
12-01 1814
1、RocketMQ基本使用 1、启动 1.启动NameServer # 1.启动NameServer nohup sh bin/mqnamesrv & # 2.查看启动日志 tail -f ~/logs/rocketmqlogs/namesrv.log 2.启动Broker # 1.启动Broker nohup sh bin/mqbroker -n localhost:9876 & # 2.查看启动日志 tail -f ~/logs/rocketmqlogs/broker
SpringBoot——原理
weixin_56697114的博客
08-13 1578
其实不管是springboot程序还是spring程序，启动过程本质上都是在做容器的初始化，并将对应的bean初始化出来放入容器。在spring环境中，每个bean的初始化都要开发者自己添加设置，但是切换成springboot程序后，自动配置功能的添加帮助开发者提前预设了很多bean的初始化过程，加上各种各样的参数设置，使得整体初始化过程显得略微复杂，但是核心本质还是在做一件事，初始化容器。...
应用配置中心——Apollo
weixin_56697114的博客
10-12 1470
目录 1、简介 2、使用Apollo 1、启动 2、创建项目 建集群 建名称空间 新增配置 创建一个新的项目 3、微服务集成Apollo客户端 1、简介 Apollo （阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。 服务端基于Spring Boot和Spring Cloud开发，打包后可以直接运行，不需要额外安装Tomcat等应用容器。 ...
Zookeeper
weixin_56697114的博客
07-24 672
1、Zookeeper 概念 Zookeeper 是 Apache Hadoop 项目下的一个子项目，是一个树形目录服务。 Zookeeper 翻译过来就是 动物园管理员，他是用来管 Hadoop（大象）、Hive(蜜蜂)、Pig(小 猪)的管理员。简称zk Zookeeper 是一个分布式的、开源的分布式应用程序的协调服务。 Zookeeper 提供的主要功能包括： 配置管理 分布式锁 集群管理 2、Zookeeper命令操作 1、Zookeeper 数据模型 ZooK...
logstash 无法创建索引_全文搜索引擎——ElasticSearch
05-16
如果 Logstash 无法创建索引，这可能是由于以下原因： 1. Elasticsearch 集群不可用：检查 Elasticsearch 集群是否正在运行，并且 Logstash 能够连接到 Elasticsearch。 2. 索引名称已经存在：确保 Logstash 未尝试使用已经存在的索引名称。如果索引名称已存在，可以尝试更改索引名称或删除现有索引。 3. 权限问题：确保 Logstash 具有创建索引的权限。如果 Elasticsearch 集群设置了安全性，可能需要配置适当的权限。 4. 硬盘空间不足：如果 Elasticsearch 硬盘空间不足，可能会导致无法创建索引。检查 Elasticsearch 集群的硬盘空间是否充足。 总之，要解决这个问题，需要对 Logstash 和 Elasticsearch 进行仔细的排查和调试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值