elasticsearch源码分析之服务端（四）

最新推荐文章于 2024-08-22 22:48:15 发布
最新推荐文章于 2024-08-22 22:48:15 发布
阅读量9k 收藏 9
点赞数 2
分类专栏： elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thomas0yang/article/details/52253165
版权
本文详细分析了Elasticsearch服务端如何接收并处理消息。从接收消息开始，通过MessageChannelHandler解析数据流，执行handleRequest。接着深入探讨服务端处理，包括索引的分类处理、生成_id、确定shardId以及分片处理请求的过程。最后，概述了写入primary阶段，包括PrimaryPhase和document的生成与索引操作。
摘要由CSDN通过智能技术生成
上篇博客说明了客户端的情况，现在继续分析服务端都干了些啥，es是怎么把数据插进去的，此处以transport的bulk为入口来探究，对于单个document的发送就忽略了。

一、服务端接收

1.1接收消息

在客户端分析中已经提到，netty中通信的处理类是MessageChannelHandler，其中messageReceived方法用来处理消息。

1.1.1解析数据流


1.1.2调用handleRequest,此处读取出来action，跟不同的action生成具体的TransportRequest子类和不同的HandledTransportAction。


其中生成reg和request解析如下：


最终执行到了TransportBulkAction类的doExecute方法，处理bulkRequest。

1.2主要类UML图

最低0.47元/天 解锁文章
thomas0yang
关注
专栏目录
ElasticSearch(搜索服务器)
辰伏的博客
03-10 405
1. 概述 1.1 基于数据库查询的问题 使用数据库查询信息 信息过多，数据库查询会全表扫描，性能低 关系型数据库提供的查询，功能太弱，使用体验不好 1.2 倒排索引 将各个文档中的内容进行分词，形成词条，然后记录词条和数据的唯一标识（id）的对应关系，形成的产物。 1.3 ES概念详解 ElasticSearch是一个基于Lucene的搜索服务器，搜索即为查询 是一个分布式、高扩展、高实时的搜索与数据分析引擎 基于RESTful web接口 ElasticSearch是用Java语言开发的
Elasticsearch——02全文搜索服务器_服务端/客户端安装
chenxie0721的博客
01-05 112
1.安装ES服务端 ①下载https://www.elastic.co/downloads/elasticsearch 正常请求我们应该在linux或者Docker安装,学习阶段,就在window上面进行安装。 ②安装 解压即可（...
Elasticsearch简单介绍
最新发布
qq_41938541的博客
08-22 2852
SQL 适用于需要强一致性和复杂关系查询的场景，比如财务系统、事务型数据库。Elasticsearch 更适合大规模实时搜索、日志分析、全文检索等应用场景，具有高扩展性和近实时搜索能力。这两者可以互补使用，SQL 处理结构化数据，ES 提供搜索和分析。
ElasticSearch(1) 安装es服务端和Kibana客户端
热门推荐
郑清
01-05 1万+
ElasticSearch是什么？？ 和Lucene一样,都是用来做全文检索(创建索引和搜索索引).只是lucene是全文检索工具包,而ES是全文搜索服务器 为什么要用全文检索？ --> 以基于索引的搜索代替数据库模糊查询,增强查询效率 为什么要使用ElasticSearch ？？ lucene不足: ①lucene只能在java中以java引入项目,其他语言就不...
Elasticsearch
weixin_44295084的博客
03-04 3707
Elasticsearch1. 了解搜索技术1.1. 什么是搜索1.2. 新业务需求1.3. 搜索引擎1.4. 倒排索引1.5. 认识lucene1.6. 什么是全文检索2. elasticsearch2.1. elastic2.2. elasticsearch2.3. 下载2.4. 安装elasticsearch2.4.1. 安装2.4.2. 配置elasticsearch2.4.3. 重启2.4.4. 测试2.4.3. cluster
浅入Elasticsearch（全文检索服务器）
m0_69513977的博客
08-27 983
Elasticsearch的介绍和使用
ElasticSearch 源码分析六 服务端 索引(2)
郭传志的博客
11-30 236
调用TransportShardBulkAction的execute方法执行索引操作 1.调用executeIndexRequestOnPrimary,在主分片上面进行索引 2.继续调用primary.applyIndexOperationOnPrimary执行写主分片 3.调用applyIndexOperation执行写索引 3.1 校验写的版本号version 3...
ElasticSearch 源码分析五 服务端 批量索引(1)
郭传志的博客
11-25 336
先看批处理bulk的实现 核心类TransportBulkAction，批量索引 Ingest node主要是通过使用ingest pipeline来对文档在索引之前进行转换或者增强。 直接看执行方法doExecute 1.判断如果这个bulkRequest是hasIndexRequestsWithPipelines，有一个ingest pipeline的增强，就直接retu...
netty源码分析之服务端启动全解析
Netty_cgmx9880的博客
04-01 188
老套路，学习某一门技术或者框架的时候，第一步当然是要了解下面这几样东西。 是什么？有哪些特点？有哪些应用场景？有哪些成功使用的案例？…为了让你更好地了解 Netty 以及它诞生的原因，先从传统的网络编程说起吧！ 还是要从 BIO 说起 传统的阻塞式通信流程 早期的 Java 网络相关的 API(java.net包) 使用 Socket(套接字)进行网络通信，不过只支持阻塞函数使用。 要通过互联网进行通信，至少需要一对套接字： 运行于服务器端的 Server Socket。运行于客户机端的 Client So
elasticsearch源码分析之search查询(十一)
thomas0yang的专栏
11-19 4310
elasticsearch分布式查询的思路是scatter/gather思想，也是多数分布式查询的套路
elasticSearch服务器部署（图文并茂超详细）
wen_877591354的博客
12-29 656
elasticSearch服务器部署
Elasticsearch 的源码解析
weixin_35754962的博客
02-13 386
Elasticsearch 是一个基于 Lucene 的搜索引擎。它的核心功能包括：全文检索、结构化搜索、分析和存储。 Elasticsearch 的源码主要由 Java 编写，使用 Maven 进行管理和构建。它的核心模块包括： core: 这是 Elasticsearch 的核心模块，包含了 Lucene 的核心功能、分布式系统相关的类和整个系统的配置。 search: 这个模块提供了搜索...
ElasticSearch服务器的搭建与使用
guan_xfeng的博客
04-27 3501
1.ElasticSearch集群的搭建: 1.1克隆 docker-base： es 1.2设置虚拟机内存：右键点es虚拟机 — 设置 — 内存设置成2G 1.3设置ip: #修改固定ip ./ip-static ip: 192.168.64.181 #重新查看ip ifconfig 1.4c导入镜像： docker load -i es-img.gz 1.5重启docker系统服务： systemctl restart docker 1.6设置一个系统的底层参数，重启服务器： echo 'vm.ma
保姆级讲解 Elasticsearch服务搭建配置与管理
熙灿 WaitAyaka CSDN B站 贴吧同名
05-20 1630
结构化数据非结构化数据半结构化数据Elasticsearch 是什么The Elastic Stack, 包括 Elasticsearch、 Kibana、 Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为 ES， ES 是一个开源的高扩展的分布式全文搜索引擎， 是整个 ElasticStack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务
ElasticSearch服务器安装以及springboot集成详解
cqdddgs的博客
08-22 335
查看mapping信息补充:Es7及以上移除了type的概念。关系型数据库中两个数据表示是独立的，即使他们里面有相同名称的列也不影响使用，但ES中不是这样的。是基于Lucene开发的搜索引擎，而ES中不同type下名称相同的filed最终在Lucene中的处理方式是一样的。两个不同type下的两个user_name，在ES同一个索引下其实被认为是同一个filed你必须在两个不同的type中定义相同的filed映射。否则，不同type。
Elasticsearch使用
m0_46351336的博客
05-03 326
Elasticsearch使用 搜索时数据库的问题 select * from xxx 一亿条数据搜索效率极低 如果使用模糊查询，左边有通配符，不会走索引，会全表扫描，性能低 不能分词 关系型数据库提供的查询，功能太弱 数据量大时，不能分库分表 单表数据量大（大于一亿），存储空间有限，分库分表需要借助外在程序实现。（mycat） es 倒排索引 ​ 倒排索引：将各个文档中的内容...
Elasticsearch集群
IT学院
12-04 775
今日授课目标 能够完成索引库的操作：新增、查询、删除 能够完成映射操作：配置映射，查看映射 能够完成文档的操作：新增、修改、删除 能完成请求体查询：基本查询、结果过滤、高亮查询，分页及排序 ES前置准备Lombok讲解 第一章 Elasticsearch集群 1.1 单点的问题 单台服务器，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用。单点的elasticsearch也是一样，那单点的es服务器存在哪些可能出现的问题呢？ 单台机器存储容量有限 单服务器容易出现单点故障，无法实
elasticsearch源码分析之集群管理（一）
thomas0yang的专栏
08-11 5007
一、背景 Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。本文主要介绍实现分布式搜索和分析的基础–存储，好的存储设计在根本上决定了查询的性能。 es的存储本质上是采用了lucene全文索引，在其基础上实现了分布式功能。 几个基本概念： Cluster：集群，一个或多个节点的集合，通过名字唯一标识Node：节点，组成集群的服
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值