Flume 总结（五）channels类型-1.9.0新版

最新推荐文章于 2023-04-19 19:16:11 发布
最新推荐文章于 2023-04-19 19:16:11 发布
阅读量296 收藏 1
点赞数
分类专栏： flume 行为日志 大数据 文章标签： flume 分布式 大数据 cloudera
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaohu21/article/details/109005821
版权
大数据 同时被 3 个专栏收录
116 篇文章 12 订阅
订阅专栏
行为日志
18 篇文章 0 订阅
订阅专栏
flume
12 篇文章 0 订阅
订阅专栏

Flume 总结（五）channels类型-1.9.0新版

1. channels

在这里插入图片描述

  1. Memory Channel在这里插入图片描述
  2. JDBC Channel
    在这里插入图片描述

可以通过JDBC对外进行数据缓存

  1. Kafka Channel

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. File Channel
    在这里插入图片描述
    在这里插入图片描述

顾名思义，采用文件channel是相对最稳定的，当然，如果有稳定的kafaka集群，稳定性更高，且速度更高。

  1. Spillable Memory Channel
    在这里插入图片描述

  2. Pseudo Transaction Channel在这里插入图片描述

不用用于生产环境

  1. Custom Channel
    在这里插入图片描述

自定义channel

闻香识代码
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flume-taildir-source-1.9.0.jar
05-24
flume断点续传覆盖jar，使用组件flume-taildir-source-1.9.0覆盖flume/bin目录下的jar即可
apache-flume-1.9.0-bin.tar.gz
07-28
编译好的flume1.9.0，下载安装即可使用
flume1.8 Channel类型介绍（四）
Swordfall的博客
01-04 415
1. Flume Channel Channels是events在agent上进行的存储库。Source添加events，Sink移除events。 1.1 Memory Channel（内存Channels） events存储在配置最大大小的内存队列中。对于流量较高和由于agent故障而准备丢失数据的流程来说，这是一个理想的选择。 agent a1示例： 1.2 JDBC ...
Flume的Channel类别
yeserumo的博客
03-30 494
Memory：内存通道，这个channel是将数据临时存储在内存中的，特点是读写快但是不可靠，如果考虑吞吐量，那么推荐使用Memory Channel。其常用参数有Capacity表示信道存储的最大事件数量，默认为100，建议实际工作调整为10万；transactionCapacity表示每个事务的最大事件数，默认为100，建议实际工作调整为1000~3000 File：文件通道，这个channel将数据临时存储在硬盘中，特点是可靠但是读写速度相对较慢，如果考虑数据的稳定性，推荐使用 JDBS：将数据临时.
Flume之 各种 Channel 的介绍及参数解析
weixin_40727028的博客
04-06 6516
一、Channel介绍 Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。 常用的Channel类型有Memory Channel、File Channel、KafkaChannel等。 1、Memory Channel 对比Channel, Memory Channel读写速度快
flume 的Channel的种类
wuhahaq的博客
04-19 752
下游数据传输使⽤的是Kafka作为消息队列来传输消息，使⽤Kafka的主要原因是因为Kafka的⾼吞吐量以及可以对数据进⾏分类也就是不同的topic，⽅便下⼀层的使⽤，整体的架构是采⽤Lamda架构设计的，实时和离线都会从Kafka中获取数据来进⾏处理,⽽且还有其他的业务线也是从Kafka中获取数据的,这样做以后可以有效的提⾼数据的复⽤减少数据的冗余。主要是为了对接Kafka，使⽤这个可以节省Sink组件也可以提升效率的，我们项⽬中使⽤的就是这个Channel，因为下⼀层是使⽤Kafka来传递消息的。
Flume的Channel分类
围城客的专栏
11-13 6366
channel可以理解为一种临时的存储，source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channel 基于内存的channel，实际就是将event存放于内存中一个固定大小的队列中。其优点是速度快，缺点是可能丢失数据。 可配置属性如下： 属性 默认 说明 type – 这里为...
apache-flume-1.9.0-bin.tar.zip
10-07
apache-flume-1.9.0-bin.tar.zip apache-flume-1.9.0-bin.tar.zip apache-flume-1.9.0-bin.tar.zip
flume-1.9.0.tgz
10-24
flume安装包
flume-ng-sql-source.jar
03-23
flume是一个日志收集器，更多详细的介绍可以参照官网:http://flume.apache.org/ flume-ng-sql-source实现oracle增量数据读取 有了这个jar文件即可从关系型数据库拉去数据到flume
flume channel 选择
Hui950317的博客
04-11 1715
1.Memory Channel type=memory 内存通道是一个内存队列，源将事件写入其尾部，接收器从其头部读取事件。内存通道存储堆上的源写入它的事件。我们可以配置最大尺寸。 由于它将所有数据存储在内存中，因此提供了高吞吐量。它最适合那些不担心数据丢失的流。它不适用于涉及数据丢失的数据流 2.File Channel type=file 它是 Flume 的持久通道。文件通道将所有水槽事件写入磁盘。即使进程或机器关闭或崩溃，它也不会丢失数据。 此通道确保仅当接收器使用事件并提交事务
Flume中常用Source和Channel类型的特点
qq_54021998的博客
04-06 470
Source选择 NetCat Source 一个NetCat Source用来监听一个指定端口，并将接收到的数据的每一行转换为一个事件。 TailDir Source： 断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。 Exec Source 可以实时搜集数据，但是在Flume不运行或者Shell命令出错的情况下，数据将会丢失。 Spooling Directory Source 监控目录，支持断点续传。 Channel选择 Kafka Channel
Flume常用Channel说明
GCH6969的博客
09-02 1147
1.Channle 常用Channel 配置 Memory Channel channel 是在 Agent 上暂存 Event 的缓冲池。 Event由source添加，由sink消费后删除。 配置范例： a1.channels = c1 a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 10000 a1.channels.c1.byteCapacityBuf
4 Channels
LK-T.O.P的博客
06-21 311
通道是 Nextflow 在工作流中发送数据的方式。通道通过它们的输入和输出连接进程。 通道可以存储多个项，比如文件(例如 fastq 文件)或值。通道存储的项数决定了使用该通道作为输入的进程将运行多少次。...
08_Flume_Selector实践
weixin_30824599的博客
12-03 84
实践一：replicating selector 1、目标场景 selector将event复制，分发给所有下游节点 2、Flume Agent配置 Agent配置 # Name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 ...
Flume中提供的channel实现主要有三个(channel.type)
brave_zhao的博客
05-18 1158
1.memory channel : event保存在Java Heap(堆内存)中，如果允许数据少量丢失，推荐使用；由于事件event缓存在存储器中，因此不具有持久存储能力；如果代理重新启动，事件就会丢失；与fil## 标题e channel比较，memory channel的优势在于具有较高的吞吐量； 2.file channel : 这种类型的channel具有持久性：只要事件被写入该类型的channel,即使代理重新启动，事件也不会丢失；event保存在本地文件中，可靠性高；但吞吐量低于前者； 3.
Flume：三种channel比较
不花的花和尚的博客
10-15 6124
Flume中提供的Channel实现主要有三个： Memory Channel     event保存在Java Heap中。如果允许数据小量丢失，推荐使用 File Channel                  event保存在本地文件中，可靠性高，但吞吐量低于Memory Channel JDBC Channel          event保存在关系数据中，一般不推荐使用  ...
Flume_Channel
Regan_Hoo的博客
12-06 603
事务工作流Flume Channel是事务性的，由于性能的原因总是推荐每个事务有相当大数量的事件，批量写入Channel是很重要的，尤其是持久的Channel。如果sink读取完一个事件，该事件对于其他sink就是不可用的，除非回滚该sink事务。单个事务不能同时写入和读取事件。这保证了source只能往channel中放入事件，sink只能从channel中取走事件。 flume自带的channe
Flume常用Channel
yunweijie_cn的博客
02-15 974
Flume常用Channel一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np imp
Cannot resolve org.apache.flume:flume-ng-sinks:1.9.0
最新发布
06-10
这错误通常是由于依赖库无法从Maven中央仓库下载而引起的。你可以尝试以下几种方法来解决这个问题： 1. 确认你的网络环境没有问题，可以访问Maven中央仓库。 2. 检查你的pom.xml文件是否正确，确保你的依赖库的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值