Flume7 事务

最新推荐文章于 2024-09-19 18:34:13 发布
最新推荐文章于 2024-09-19 18:34:13 发布
阅读量149 收藏
点赞数
分类专栏： # Flume 文章标签： 队列 flume 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43634001/article/details/109984591
版权

Flume7 事务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zNcFwyOa-1606096765731)(C:\Users\Auraros\AppData\Roaming\Typora\typora-user-images\image-20201121193038126.png)]

重点：

  • 两个事务： Put事务 和 Take事务

  • Put事务应该做的事情：

    - doPut: 将批量数据先写入临时缓存区putList
- doCommit: 检查channel内存队列是否足够合并
- doRollback: channel内存空间不足，回滚数据

  • Take事务应该做的事情

    - doTake: 将数据取到临时缓冲区takeList，并将数据发送到HDFS
- doCommit:如果数据全部发送成功，则清除临时缓冲区takeList
- doRollback：数据发送过程中如果出现异常，rollback将临时缓冲区takeList中的数据归还给channel内存队列
Auraros
关注
专栏目录
【Flume】（三）Flume 事务、拓扑结构和Flume Agent 内部原理
01-07
文章目录一、Flume 事务二、Flume Agent 内部原理三、Flume 拓扑结构1、简单串联2、复制和多路复用3、负载均衡和故障转移4、聚合 一、Flume 事务 二、Flume Agent 内部原理 重要组件： 1）ChannelSelector Channel...
尚硅谷大数据技术之Flume
03-23
批量事件一旦成功写出到存储系统或下一个 Flume Agent，Sink 就利用 Channel 提交事务。事务一旦被提交，该 Channel 从自己的内部缓冲区删除事件。Sink 组件目的地包括 hdfs、logger、avro、thrift、ipc、file、null...
flume介绍与原理
01-27
Flume的特性包括上下文路由、事务保障的数据一致性以及良好的可扩展性和容错性。 Flume的工作流程通常涉及以下几个组件： 1. **Source**：Source 是数据的入口，负责从数据生成器（如Web服务器、社交媒体平台等）...
实战Flume基础
05-13
Flume中的事务处理涉及到事务对象（Transaction）的使用，其操作流程包括获取事务、进行操作、提交事务以及异常处理和事务关闭。 在多层Agent的数据收集场景下，Flume采用handoff机制来处理数据传输，即一个Agent会...
Flume答案1
08-08
在这个示例中，我们使用了 Memory Channel，缓存大小为 1000，事务缓存大小也为 1000，保持连接时间为 30 秒。 ``` # channel 具体配置 f1.channels.c1.type=memory f1.channels.c1.capacity=1000 f1.channels.c1....
Flume2 下载安装
热门推荐
Auraros的博客
12-01 14万+
Flume2 下载安装 Flume 安装地址 Flume 官网地址 http://flume.apache.org/ 文档查看地址 http://flume.apache.org/FlumeUserGuide.html 下载地址 http://archive.apache.org/dist/flume/ 安装部署 将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/opt/software 目录下,并解压到/opt/module/目录下 [atg
Flume5 实时监控目录下多个新文件
Auraros的博客
11-23 306
Flume5 实时监控目录下多个新文件 案例需求： 使用Flume监听整个目录的文件，并上传至HDFS 需求分析： 实践步骤 创建配置文件 flume-dir-hdfs.conf 创建一个文件 [atguigu@hadoop102 job]$ touch flume-dir-hdfs.conf 打开文件 [atguigu@hadoop102 job]$ vim flume-dir-hdfs.conf 添加如下内容 a3.sources = r3 a3.sinks = k3 a3.channels
Flume8 Agent内部原理
Auraros的博客
11-23 293
Flume8 Agent内部原理 拦截器 拦截器是简单的插件式组件，设置在source和channel之间。source接收到的时间，在写入channel之前，拦截器都可以进行转换或者删除这些事件。每个拦截器只处理同一个source接收到的事件。可以自定义拦截器。 flume内置了很多拦截器，并且会定期的添加一些拦截器，在这里列出一些flume内置的，经常使用的拦截器。 Timestamp Interceptor(时间戳拦截器) flume中一个最经常使用的拦截器 ，该拦截器的作用是将时间戳插入到flum
Flume13 聚合组
Auraros的博客
12-01 266
Flume13 聚合组 1） 案例需求： hadoop103 上的 Flume-1 监控文件/opt/module/group.log， hadoop102 上的 Flume-2 监控某一个端口的数据流， Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印到控制台。 2）需求分析： 实现步骤 准备工作 分发 Flume [atguigu@hadoop102 module]$ xsync flume 在hadoop102、ha
Flume6 实时监控目录下的多个追加文件
Auraros的博客
11-23 262
Flume6 实时监控目录下的多个追加文件 Exec source 适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooldir Source 能够保证数据不丢失，且能够实现断点续传，但延迟比较高，不能实时监控；而Taildir Source既能实现断点续传，又可以保证数据不丢失，还能够进行实时监控。 案例需求 使用Flume监听整个目录实时追加文件，并上传至 HDFS 需求分析 实验步骤 建配置文件 flume-file-logger.conf 创建一个文件 [atguigu@hadoop1
Flume3 监控端口数据
Auraros的博客
11-23 228
Flume3 监控端口数据 更多整理都在我的github上：Auraros欢迎大家。 案例需求 使用Flume 监听一个端口，收集该端口数据，并打印到控制台 需求分析 实现步骤 安装 telnet 工具 将 rpm 软 件 包 (xinetd-2.3.14-40.el6.x86_64.rpm 、 telnet-0.17-48.el6.x86_64.rpm 和telnet-server-0.17-48.el6.x86_64.rpm)入/opt/software 文件夹下面。执行 RPM 软件包安装命令：
Flume4 实时监控单个追加文件
Auraros的博客
11-23 227
Flume4 实时监控单个追加文件 需求 案例需求： 实时监控Hive日志，并上传到HDFS中 存在单点故障，因为如果agent故障后，可能会丢失数据 需求分析 实验步骤 第一个先提取日志数据输出到控制台 创建 file-flume-logger.conf 文件 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sour
Flume9 拓扑结构
Auraros的博客
12-01 202
Flume9 拓扑结构 简单串联 这种模式是将多个Flume顺序连接了起来，从最初source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的Flume数量，Flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点Flume宕机，会影响整个传输系统。 复制和多路复用 Flume 支持将事件流向一个或多个目的地，这种模式可以将相同数据复制到多个channel中，或者将不同数据分发到不同的channel中，sink可以选择传送到不同的目的地。 负载均衡和故障转移 Flume支持使用将多
Flume1 概述
Auraros的博客
11-23 182
Flume1 概述 更多整理都在我的github上：Auraros欢迎大家。 定义 Flume是Cloudera提供一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume基于流失架构，灵活简单。 Flume主要用于对Java后台日志以及Python爬虫数据的数据实时读取进行一个传输，传输到HDFS中。 基础架构 1. source: 一个存储数据的地方，将读入的数据存储起来 2. channel：管道，将数据运输到输出端口的管道(防止读入比写出快而导致崩溃) 3. sink: 输出
Flume11 故障转移
Auraros的博客
12-01 160
Flume11 负载均衡和故障转移 案例需求 使用Flume监控一个端口，其sink组中的sink分别对接Flume2 和 Flume3，采用FailoverSinkProcessor，实现故障转移的功能。 需求分析 实现步骤 准备工作 在/opt/module/flume/job 目录下创建 group2 文件夹 [atguigu@hadoop102 job]$ cd group2/ 创建 flume-netcat-flume.conf 配 置 1 个接收 日 志 文 件 的 source
Flume12 负载均衡
Auraros的博客
12-01 146
Flume12 故障转移 案例需求 使用Flume监控一个端口，其sink组中的sink分别对接Flume2 和 Flume3，采用FailoverSinkProcessor，实现故障转移的功能。 需求分析 实现步骤 准备工作 在/opt/module/flume/job 目录下创建 group2 文件夹 [atguigu@hadoop102 job]$ cd group2/ 创建 flume-netcat-flume.conf 配 置 1 个接收 日 志 文 件 的 source 和 1 个
Flume10 单数据源和多出口
Auraros的博客
12-01 146
Flume10 单数据源和多出口 案例需求 使用Flume-1监控文件变动，Flume-1将变动内容传递给 Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到Local FileSystem。 需求分析 实现步骤 准备工作 在/opt/module/flume/job 目录下创建 group1 文件夹 [atguigu@hadoop102 job]$ cd group1/ 在/opt/module/datas/目录下创建 f
flume系列之：出现数据堆积时临时增大sink端消费能力
最新发布
zhengzaifeidelushang的博客
09-19 101
系统的CPU核心数较多，并且没有其他繁重的任务，可以适当增大该参数的值以提高并行处理能力。系统的CPU资源较为紧张或存在其他繁重的任务，可以减小该参数的值。系统的CPU资源较为充足，并且需要处理大量的数据，可以适当增大该参数的值，以提高HDFS Sink插件的处理能力。如果系统的CPU资源较为紧张或存在其他繁重的任务，可以减小该参数的值，以避免对系统的影响。系统的磁盘和内存资源充足，并且需要同时写入大量的文件，可以适当增大该参数的值。系统资源有限或写入的文件较少，可以减小该参数的值。
flume中如何启动事务支持
09-08
以下是启动Flume事务支持的基本步骤： 1. 配置Flume的agent配置文件，指定使用事务性Channel。例如，在`flume-conf.properties`配置文件中，可以这样设置： ```properties # 定义agent名称 a1.sources = r1 a1....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值