【HDFS】EditLogTailer功能及原理（二）-- selectInputStreams细节详解

已于 2022-03-23 10:58:33 修改
阅读量2.5k 收藏
点赞数
分类专栏： HDFS全方位实战 文章标签： hadoop hdfs big data java
于 2022-03-20 16:02:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiguafu/article/details/123593464
版权
HDFS全方位实战 专栏收录该内容
171 篇文章 149 订阅 ¥29.90 ¥99.00
订阅专栏
本文详细介绍了HDFS EditLogTailer的selectInputStreams方法，包括其在hadoop-3.3.0版本后的新特性，如RPC获取editlog输入流，以及如何选择符合条件的editlog输入流，确保standby namenode与active namenode状态同步。
摘要由CSDN通过智能技术生成

【HDFS】EditLogTailer功能及原理（一）-- 整体流程

【HDFS】EditLogTailer功能及原理（二）-- selectInputStreams细节详解
【HDFS】EditLogTailer功能及原理（三）-- loadEdits方法细节详解

在系列文章的第一篇中，我们用通俗的语言描述了EditLogTailer的基本工作过程，然后也留了一些坑待填。今天我们来填第一个坑，selectInputStreams方法细节详解。

本文不会大段的复制源码逐行讲解，而是用图文的方式将自己的理解给描述出来。通过本文你将获得了解如下内容：

① 社区hadoop-3.3.0版本新增observer namenode read特性后，选择editlog的inputStream的细节。

② selectRpcInputStreams：hadoop-3.3.0后新增的通过RPC的方式获取editlog输入流数据&#x

了解本专栏 订阅专栏 解锁全文
叹了口丶气
关注
专栏目录
订阅专栏
【HDFS】EditLogTailer功能及原理（一）-- 整体流程
Badme
03-19 341
【HDFS】EditLogTailer功能及原理（一）-- 整体流程
HDFS源码分析之EditLogTailer
weixin_33976072的博客
04-11 220
在FSNamesystem中，有这么一个成员变量，定义如下： /** * Used when this NN is in standby state to read from the shared edit log. * 当NameNode处于standby状态时用于从共享的edit log读取数据 */ p...
EditLogTailer类源码解析
Badme
08-14 319
今天来填在Hadoop HA 状态转换源码分析中留下的坑。 editLogTailer是一个编辑日志edit log的追踪器，它的主要作用就是当NameNode处于standby状态时用于从共享的edit log读取数据。它的构造是在FSNamesystem的startStandbyServices()方法中，代码如下： 调用了start方法，追到start方法： 启动...
Logtail从入门到精通（六）：工作原理简介
weixin_34342207的博客
09-12 357
文件采集原理 Logtail文件采集的流程包括：文件监听、文件读取、日志处理、日志过滤、日志聚合和数据发送6个环节。下面将分别进行介绍： 注意：本节只介绍正常运行模式中Logtail的文件采集原理，该模式下不支持采集历史文件，如有采集历史文件需求，请参考采集历史文件。 文件监听 当Logtail获取到采集配置后，根据配置的日志路径、文件名、最大监控...
Hdfs的使用--详解
10-22
1.hdfs简介 2.hdfs的shell常用命令 3.hdfs的系统组成介绍 4.hdfs的组成部分详解
【精】HDFS Balancer原理、参数详解
Badme
02-18 2813
【精】HDFS Balancer原理、参数详解
HDFS原理（超详解）
Allenzyg的博客
05-20 5349
简介 HDFS（Hadoop Distributed File System ）Hadoop 分布式文件系统。是根据 google 发 表的论文翻版的。论文为 GFS（Google File System）Google 文件系统。 HDFS 有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存 3 份。 ② 运行在廉价的机器上。 ③ 适合大数据的处理。多大？多小？HDFS 默认会将文件分割成 block，64M 为 1 个 block。然后将block按键值对存储在HD
HDFS源码分析EditLog之获取编辑日志输入流
weixin_34159110的博客
04-12 197
在《HDFS源码分析之EditLogTailer》一文中，我们详细了解了编辑日志跟踪器EditLogTailer的实现，介绍了其内部编辑日志追踪线程EditLogTailerThread的实现，及其线程完成编辑日志跟踪所依赖的最重要的方法，执行日志追踪的doTailEdits()方法。在该方法的处理流程中，首先需要从编辑日志editLo...
log-tailer:使用shell或ssh的多日志尾巴
04-29
对数尾 去做 制作UI框架 配置文件 已连结
logtailer:有意见的日志尾随
06-19
登录 以一种非常自以为是的方式将换行分隔的 JSON 解析为更清晰的内容。 入门 使用以下命令安装模块： npm install -g logtailer logtailer log/development.log 文档 （即将推出） 例子 （即将推出） 贡献 代替正式的风格指南，注意维护现有的编码风格。 为任何新的或更改的功能添加单元测试。 Lint 并使用测试您的代码。 发布历史 （还没有） 执照 版权所有 (c) 2015 Alexa Gray 在 MIT 许可下获得许可。
Hadoop HA中EditLogTailer的作用
SometimesNaive_
12-07 1038
/** * EditLogTailer represents a thread which periodically reads from edits * journals and applies the transactions contained within to a given * FSNamesystem. */
【HDFS】EditLogTailer功能及原理（三）-- loadEdits方法细节详解
Badme
03-23 281
【HDFS】EditLogTailer功能及原理（三）-- loadEdits方法细节详解
Logtail从入门到精通（一）：日志采集杂谈
weixin_34087307的博客
04-22 780
什么是日志 提到日志，很多人的第一印象就是系统打到本地的Log文件，出问题的时候看一下这个Log文件，用来排查问题。更进一步可以根据这个Log文件做实时的监控、第三方审计、入侵检测、行为分析、数据大盘制作等等。 马老师说过：阿里巴巴不是零售，我们是一家数据公司，为了数据才做电商、做物流、卖东西。我们认为日志是记录世间人和物所有行为的一种方式，是数据中极...
大数据组件-hdfs 常用命令
Eistert
12-20 1166
使用shell脚本导出数据库中的数据，上传至HDFS中 mysql -u'user' -p'xxxx' -h 'host-ip' -e "select fuid,uid from video.follower_00" 运行脚本 sh collect_data_full.sh sh collect_data_incr.sh 查看数据命令 hdfs dfs -ls /user/cdh/ods hdfs dfs -cat /user/cdh/ods/user/20210413/part-m-00000 |
Logtail 混合模式：使用插件处理文件日志
阿里云云栖号
11-19 1716
作为一个服务百万机器的日志采集 agent，Logtail 目前已经提供了包括日志切分、日志解析（完整正则、JSON、分隔符）、日志过滤在内的常见处理功能，能够应对绝大多数场景的处理需求。但有些时候，由于应用的历史原因或是本身业务日志的复杂性，单一功能可能无法满足所采集日志的处理需求，比如： 日志可能不再是单一格式，有可能同时由 JSON 或者分隔符日志组成。 日志格式可能也不固定，不同的业务...
Hadoop HA HDFS启动错误之org.apache.hadoop.ipc.Client: Retrying connect to server问题解决
weixin_33949359的博客
03-19 1846
近日，在搭建Hadoop HA QJM集群的时候，出现一个问题，如本文标题。网上有很多HA的博文，其实比较好的博文就是官方文档，讲的已经非常详细。所以，HA的搭建这里不再赘述。本文就想给出一篇org.apache.hadoop.ipc.Client: Retrying connect to server错误的解决的方法。因为在搜索引擎中输入了错误问题，没有找到一篇解决问题的。...
K8s 场景下 Logtail 组件可观测方案升级-Logtail 事件监控发布
最新发布
阿里云技术
11-14 1019
SLS针对Logtail本身以及Logtail的管控组件alibaba-log-controller，采用K8s事件的方式，将处理流程中的关键事件透出，从而让用户能够更清楚的感知其中发生的异常。
HDFS配置深入解析：hdfs-site.xml关键参数详述
"本文将深入解析`hdfs-site.xml`配置文件，该文件是Hadoop分布式文件系统（HDFS）的核心配置文件，对于理解和优化Hadoop集群的运行至关重要。" 在Hadoop环境中，`hdfs-site.xml`是配置HDFS参数的主要文件，它定义了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值