分布式搜索引擎ElasticSearch——深入elasticSearch

最新推荐文章于 2024-09-14 17:24:50 发布
最新推荐文章于 2024-09-14 17:24:50 发布
阅读量614 收藏 10
点赞数 6
文章标签： 搜索引擎 分布式 elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shall_zhao/article/details/135605799
版权

分布式搜索引擎ElasticSearch——深入elasticSearch

文章目录


在这里插入图片描述

数据聚合

在这里插入图片描述

聚合的分类

在这里插入图片描述
在这里插入图片描述

DSL实现Bucket聚合

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

DSL实现Metric聚合

在这里插入图片描述

RestAPI实现聚合

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

自动补全

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
https://github.com/medcl/elasticsearch-analysis-pinyin
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

DSL实现自动补全查询

在这里插入图片描述
Completion Suggester
在这里插入图片描述
在这里插入图片描述

修改酒店索引库数据结构

在这里插入图片描述

RestAPI实现自动补全查询

在这里插入图片描述
在这里插入图片描述

实现酒店搜索页面输入框的自动补全

在这里插入图片描述

数据同步

在这里插入图片描述

数据同步思路分析

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

利用MQ实现mysql与elasticsearch数据同步

在这里插入图片描述

elasticsearch集群

在这里插入图片描述
在这里插入图片描述

搭建ES集群

在这里插入图片描述
部署es集群可以直接使用docker-compose来完成，不过要求你的Linux虚拟机至少有4G的内存空间

首先编写一个docker-compose文件，内容如下：

version: '2.2'
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data01:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - elastic
  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data02:/usr/share/elasticsearch/data
    networks:
      - elastic
  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.12.1
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02,es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data03:/usr/share/elasticsearch/data
    networks:
      - elastic

volumes:
  data01:
    driver: local
  data02:
    driver: local
  data03:
    driver: local

networks:
  elastic:
    driver: bridge

Run docker-compose to bring up the cluster:

docker-compose up

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

ES集群的脑裂

在这里插入图片描述
在这里插入图片描述
### ES集群的分布式存储
在这里插入图片描述
在这里插入图片描述

ES集群的分布式查询

在这里插入图片描述
在这里插入图片描述
### ES集群的故障转移
在这里插入图片描述
在这里插入图片描述

shall_zhao
关注
ElasticSearch - 分布式搜索引擎底层实现——倒排索引
CYK_byte的博客
09-23 699
第一次是根据用户输入的内容的词条，去找到对应的文档 id.第二次是拿着文档 id 来找文档.这样的查询效率，相比于正向索引中搜索 包含手机关键字的 数据，一行一行去查找就要快的多了.倒那么这里也能够看出，排索索引为什么是倒排了，因为正向索引中，得一行一行找，找到匹配的放到结果集中，而倒排索引就是反过来，基于词条创建索引，搜多的时候，就是根据词找到对应的文档（正向索引就是根据文档来找词）.
【仿牛客网笔记】Elasticsearch，分布式搜索引擎——Spring整合Elasticsearch
xue_hua_c的博客
11-15 284
set是一个开关，读取系统的属性，这个属性是key,将key设置为false就不会检查这个，所以我们在服务器启动的时候设置为false。针对帖子的配置所以在DIscussPost中，通过注解配置@Document，实体中的属性和索引中的字段对用关系通过注解配置。response取到搜索数据，得到是SearchHits,如果hits为0，则没有数据。@Repository是Spring提供的针对数据访问层的注解。我们需要想办法将数据库中的帖子存放到ES的服务器中，然后去ES服务器中搜索帖子。
分布式搜索引擎——elasticsearch搜索功能
jihuaTEL的博客
05-07 2417
Elasticsearch提供了基于JSON的DSL ()来定义查询。
分布式搜索引擎2——深入elasticsearch
jihuaTEL的博客
05-11 751
character filters:在tokenizer之前对文本进行处理。例如删除字符、替换字符tokenizer:将文本按照一定的规则切割成词条（term)。例如keyword，就是不分词;还有ik_smarttokenizer filter:将tokenizer输出的词条做进一步处理。例如大小写转换、同义词处理、拼音处理等我们可以在创建索引库时，通过settings来配置自定义的analyzer(分词器)∶//自定义分词器 "my_analyzer" : {
分布式搜索引擎Elasticsearch
摘 月
09-24 626
1.Elasticsearch产生背景大数据量的检索NoSql： not only sql，泛指非关系型的数据库Nginx的7层负载均衡和4层负载均衡2.Elasticsearch是什么一个基于Lucene的分布式搜索和分析引擎，一个开源的高扩展的分布式全文检索引擎Elasticsearch使用Java开发：需安装jdkApache：公司：开源协议在它的条款下开源很多主流的开源软件都捐献给Apache，让它维护顶级开源项目：Kafka，ES，Echarts。
分布式搜索和分析引擎-Elasticsearch
猿日记的专栏
03-24 631
分布式搜索和分析引擎-Elasticsearch Elasticsearch 是一个分布式的免费开源搜索和分析引擎，适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在Apache Lucene 的基础上开发而成，由 Elasticsearch N.V.（即现在的Elastic）于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名，是Elastic Stack 的核心组件；Elast
分布式搜索引擎Elasticsearch开发实战基础篇 （ElasticSearch、ELK、搜索引擎、Lucene）.rar
11-11
分享一套完整版视频课程——分布式搜索引擎Elasticsearch开发实战基础篇 （ElasticSearch、ELK、搜索引擎、Lucene），本教程旨在带领大家进入搜索引擎领域，从无到有，深入浅出的讲解了什么是搜索引擎，搜索引擎的...
【仿牛客网笔记】Elasticsearch，分布式搜索引擎——Elasticsearch入门
xue_hua_c的博客
11-14 388
Restful是一种设计风格，这种风格规定了前后端应该按照什么标准交互，不同类型的Http的请求的请求的格式是什么样的，请求标准的一种描述。采用集群分布式部署，每一台服务器称为节点，分片是对索引的进一步划分，副本是对分片的备份。7.0的时候废弃掉了。ES中的文档和数据库中的表的一行，文档通常采用的是js结构，js中每一个属性叫字段。支持结构化的数据，非结构化的数据也可以，即各种类型的数据通过它都可以。具体的搜索条件可以通过body提交，通过请求体提交复杂的请求。ES中的类型和数据库中的table表想对应。
【仿牛客网笔记】Elasticsearch，分布式搜索引擎——开发社区搜索功能
xue_hua_c的博客
11-16 223
查询帖子需要从数据库中查，即DiscussPostService中查找，从数据库中查找。数据库中查询帖子id,查询到帖子后，然后存储到ES服务器中就可以。实现搜索帖子，keyword关键字，current当前第几页。启动服务器的时候确保zookeeper和kafka是启动的。提供一个方法向ES服务器里提供新产生的帖子save。首先判断消息内容是否为空，格式是否错误。注入eventProduce，触发事件。发布评论是在comment。判断一下是否触发发帖事件。这个事件触发之后去消费。
自然语言处理系列六十八》搜索引擎项目实战》搜索引擎系统架构设计
weixin_52610848的博客
09-11 1759
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
自然语言处理系列六十九》搜索引擎项目实战》搜索框架技术选型
weixin_52610848的博客
09-11 1184
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
Redis分布式
Flying_Fish_roe的博客
09-07 1150
Redis 的分布式架构包括主从复制、哨兵模式以及 Redis Cluster，分别适用于不同的应用场景。从简单的高可用性需求到复杂的水平扩展要求，Redis 提供了灵活的解决方案。在实现 Redis 分布式系统时，需要根据具体的应用场景进行合理的选择和配置，确保系统在性能、一致性和高可用性之间达到最佳平衡。
HarmonyOS学习(十二)——数据管理（一）分布式数据
最新发布
qi85481455的博客
09-14 748
分布式数据服务（Distributed Data Service ，DDS）为应用程序提供不同设备间数据库的分布式协同能力。通过调用分布式数据接口，应用程序将数据保存到分布式数据库中。通过结合账号，用用和数据库三元组，分布式数据服务对属于不同应用的数据进行隔离，以保证不同应用之间数据不能通过分布式数据服务互相访问。在通过可信认证的设备间，分布式数据服务支持应用数据相互同步，为用户提供在多种终端设备上最终一致的数据访问体验。
分布式云化数据库的优缺点分析
petaexpress的博客
09-14 547
分布式云化数据库的优点主要体现在高可用性和容错性、可扩展性、体系结构、数据一致性、成本、升级迭代等方面。同时也存在一些缺点，如通信开销较大、数据的存取结构复杂、数据安全性难以保证、系统复杂性、高并发访问性能问题以及节点故障风险等。
分布式内存计算Flink环境部署
qq_61532016的博客
09-11 556
Flink同Spark一样，是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。Flink在大数据体系同样是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。在大数据领域广泛应用，是目前世界上除去Spark以外，应用最为广泛的分布式计算引擎。我们将基于前面构建的Hadoop集群，部署Flink Standalone集群Spark更加偏向于离线计算而Flink更加偏向于实时计算。
Java面试题精选：分布式(二)
YuanLuo0911的博客
09-11 1237
如果接入过支付宝或者微信的支付接口，会遇到这样一种流程。例如，APP调用支付宝或微信的SDK（Software Development Kit软件开发工具包）进行了支付，钱已经从用户的支付宝或微信账户，转到了公司（开发APP的公司）的支付宝或微信账户上，但是支付系统，并不知道钱是否已经支付成功，需要支付宝或者微信回调公司的支付系统，才能进行后续的业务，如图所示。这其实就是一个最大努力通知的解决方案。在方案中主要保证两点：（1）有一定的消息重复通知机制。
ClickHouse--19-- 分布式 GLOBAL IN 和 GLOBAL JOIN
时光里的博客
09-11 890
当数据表包含多个分片的时候，我们需要将普通的本地查询转换为分布式查询。当然，这个转换动作是不需要用户自己进行的，在ClickHouse里面会由Distributed表引擎代劳。Distributed表引擎的定位就好比是一个分表的中间件，它本身并不存储数据，而是分片的代理，能自动的将SQL查询路由到每个分片。发起远程调用，根据集群的配置信息，从当前节点向远端分片发起Remote远程查询调用分布式表转本地表，在发送远程查询时，将SQL内的 _all表 转成 _local表。
15_分布式数据结构
刘炫320的博客
09-11 449
老鸟：我们先从一个简单的例子开始。假设你有一个大表格，数据量非常大，单台机器处理起来很慢。这时候，如果我们把表格分成几部分，分别放到不同的机器上去处理，是不是就会快很多？菜鸟：听起来是这样，但具体怎么做呢？老鸟：这就是分布式数据结构的核心思想。通过将数据分片，分布在多个节点上进行并行处理。我们来看看一个简单的代码示例。老鸟：今天我们讨论了分布式数据结构的基本概念、操作细节和一些优化方法。你可以进一步学习一致性哈希、分布式文件系统（如HDFS）和分布式数据库（如Cassandra、MongoDB）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值