Flume的Channel类别

最新推荐文章于 2023-04-19 19:16:11 发布
最新推荐文章于 2023-04-19 19:16:11 发布
阅读量533 收藏 2
点赞数
分类专栏： 大数据 文章标签： 大数据 flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yeserumo/article/details/115321078
版权
  • Memory：内存通道，这个channel是将数据临时存储在内存中的，特点是读写快但是不可靠，如果考虑吞吐量，那么推荐使用Memory Channel。其常用参数有Capacity表示信道存储的最大事件数量，默认为100，建议实际工作调整为10万；transactionCapacity表示每个事务的最大事件数，默认为100，建议实际工作调整为1000~3000
  • File：文件通道，这个channel将数据临时存储在硬盘中，特点是可靠但是读写速度相对较慢，如果考虑数据的稳定性，推荐使用
  • JDBS：将数据临时存储在数据库中，理论而言其读写速度高于File但是低于Memory，这个channel的特点是只支持Derby，然而基于Derby数据库的特性在实际开发中并不常使用
  • Memory Spillable：内存溢出通道，将数据临时写到内存中，如果内存中的数据量达到指定的条目数，那么不会阻塞而是会把数据记录到磁盘中，但是这个通道到目前位置一直处于测试状态，还有投入使用，稳定性未知
夜色如墨
关注
专栏目录
Flume面试整理-常见的Channel类型
不务正业的猿
10-16 514
不同类型的Channel提供了不同的性能和可靠性，适用于不同的应用场景。适用于对数据可靠性要求较高的场景。描述：Kafka Channel使用Apache Kafka作为事件存储和传输的中介，适用于需要高扩展性和高可靠性的数据流处理场景，尤其是Flume与Kafka集成时。每种Channel类型适用于不同的场景，配置时应根据数据处理的具体需求选择合适的Channel类型，以获得最佳的性能和可靠性。Memory Channel：适用于需要高吞吐量、低延迟的数据流处理场景，但不适合对数据可靠性要求较高的场景。
Flume学习笔记 --- Flume搭建与配置
杨鑫newlife的专栏
07-22 284
1.添加一个Agent Flume代理配置存储在本地文件中。这里是一个遵循Java属性文件格式的文本文件。可以在同一个配置文件中至指定一个或多个Agent的配置。 配置文件包含代理中每个Source, Sink和Channel的属性以及如何连接称为数据流。 2.配置单个组件 流中的每个组件（source, sink, channel) 都具有特定与类别和实例化的名称，类型和属性集。 例...
flume 的Channel的种类
wuhahaq的博客
04-19 858
下游数据传输使⽤的是Kafka作为消息队列来传输消息，使⽤Kafka的主要原因是因为Kafka的⾼吞吐量以及可以对数据进⾏分类也就是不同的topic，⽅便下⼀层的使⽤，整体的架构是采⽤Lamda架构设计的，实时和离线都会从Kafka中获取数据来进⾏处理,⽽且还有其他的业务线也是从Kafka中获取数据的,这样做以后可以有效的提⾼数据的复⽤减少数据的冗余。主要是为了对接Kafka，使⽤这个可以节省Sink组件也可以提升效率的，我们项⽬中使⽤的就是这个Channel，因为下⼀层是使⽤Kafka来传递消息的。
flume1.8 Channel类型介绍（四）
Swordfall的博客
01-04 455
1. Flume Channel Channels是events在agent上进行的存储库。Source添加events，Sink移除events。 1.1 Memory Channel（内存Channels） events存储在配置最大大小的内存队列中。对于流量较高和由于agent故障而准备丢失数据的流程来说，这是一个理想的选择。 agent a1示例： 1.2 JDBC ...
Flume的Channel分类
围城客的专栏
11-13 6569
channel可以理解为一种临时的存储，source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channel 基于内存的channel，实际就是将event存放于内存中一个固定大小的队列中。其优点是速度快，缺点是可能丢失数据。 可配置属性如下： 属性 默认 说明 type – 这里为...
Flume之 各种 Channel 的介绍及参数解析
weixin_40727028的博客
04-06 6920
一、Channel介绍 Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。 常用的Channel类型有Memory Channel、File Channel、KafkaChannel等。 1、Memory Channel 对比Channel, Memory Channel读写速度快
flume avro java_flume之Avro Source和Avro Sink
weixin_34388311的博客
02-16 819
一、Avro Souce介绍Flume主要的RPC Source是Avro SourceAvro Source被设计为高扩展的RPC服务器端，能从其他的Flume Agent的Avro Sink或者使用Flume的SDK发送数据的客户端应用，接受数据到一个Flume Agent中。Avro Source的可扩展性结合Channel担当了缓冲器的角色，使得Flume Agent能够处理重要的负载峰值...
flume采集mysql日志_日志采集工具Flume的安装与使用方法
weixin_31243809的博客
02-06 558
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。Flume主要由3个重要的组件构成：Source:完成对日志数据的收集，分成transtion 和 event 打入到channel之中。Channel:主要提供一...
Flume知识点全面总结教程
击水三千里的专栏
08-31 1319
Flume的前世今生
使用Flume作为Spark Streaming数据源
weixin_45607431的博客
12-16 2786
使用Flume作为Spark Streaming数据源 一、实验目的 （1）通过实验学习日志采集工具Flume的安装和使用方法； （2）掌握采用Flume作为Spark Streaming数据源的编程方法。 二、实验平台 操作系统：CentOS Spark版本：2.4.7 Flume版本：1.7.0 三、实验内容和要求 1.安装Flume 解压安装包 tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt ln -sv apache-flume-1.7.0-bin
Flume中提供的channel实现主要有三个(channel.type)
brave_zhao的博客
05-18 1237
1.memory channel : event保存在Java Heap(堆内存)中，如果允许数据少量丢失，推荐使用；由于事件event缓存在存储器中，因此不具有持久存储能力；如果代理重新启动，事件就会丢失；与fil## 标题e channel比较，memory channel的优势在于具有较高的吞吐量； 2.file channel : 这种类型的channel具有持久性：只要事件被写入该类型的channel,即使代理重新启动，事件也不会丢失；event保存在本地文件中，可靠性高；但吞吐量低于前者； 3.
flume channel 选择
Hui950317的博客
04-11 1752
1.Memory Channel type=memory 内存通道是一个内存队列，源将事件写入其尾部，接收器从其头部读取事件。内存通道存储堆上的源写入它的事件。我们可以配置最大尺寸。 由于它将所有数据存储在内存中，因此提供了高吞吐量。它最适合那些不担心数据丢失的流。它不适用于涉及数据丢失的数据流 2.File Channel type=file 它是 Flume 的持久通道。文件通道将所有水槽事件写入磁盘。即使进程或机器关闭或崩溃，它也不会丢失数据。 此通道确保仅当接收器使用事件并提交事务
Flume中常用Source和Channel类型的特点
qq_54021998的博客
04-06 541
Source选择 NetCat Source 一个NetCat Source用来监听一个指定端口，并将接收到的数据的每一行转换为一个事件。 TailDir Source： 断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。 Exec Source 可以实时搜集数据，但是在Flume不运行或者Shell命令出错的情况下，数据将会丢失。 Spooling Directory Source 监控目录，支持断点续传。 Channel选择 Kafka Channel
Flume之 File类型的Channel
蒯厅博客
05-04 1102
简介 允许所有的数据存储在硬盘中。 好处：数据永远不丢失。 坏处：因为使用磁盘的存储方式会频繁的发生磁盘I/O，所以会极大的降低Flume的吞吐量。 配置项 说明 type file dataDirs 数据存放的目录，可以使用多个，多目录之间使用逗号分割即可。 实验步骤： 1.在job 文件下创建新文件file.template.conf并且配置如下信息： a1.sourc...
Flume 总结（五）channels类型-1.9.0新版
xiaohu21的博客
10-10 333
Flume 总结（五）channels类型-1.9.0新版 1. channels Memory Channel JDBC Channel 可以通过JDBC对外进行数据缓存 Kafka Channel File Channel 顾名思义，采用文件channel是相对最稳定的，当然，如果有稳定的kafaka集群，稳定性更高，且速度更高。 Spillable Memory Channel Pseudo Transaction Channel 不用用于生产环境
flume channle 参数
xujianchao的博客
10-17 549
,batchsize <=transactionCapacity<=capacity batchsize 一次从channle transactionCapacity取出多少发送 capacity 最大容量 transactionCapacity 事物容量，默认100，take失败后丢回此队列 capacity 内存最大容量 默认100 batchsize 一次取出多少，默认...
Flume的Source、Channel类型选择
qq_52868288的博客
07-01 238
好处：实时监控文件变化 坏处：有丢数据的风险好处：可以实现断点续传 坏处：不能实时监控文件变化好处：断点续传，可以实时监控文件变换数据存储在磁盘中 可靠性高 效率低数据存储在内存中，可靠性差，效率低数据存储在kafka中，存储在磁盘中，可靠性高，省去了kafka sink，传输效率也高（flume 1.6的时候诞生的，pares AsAflumeEvent=true ,设为flase不起作用，在1.7版本修复了bug）...
Flume：三种channel比较
不花的花和尚的博客
10-15 6190
Flume中提供的Channel实现主要有三个： Memory Channel     event保存在Java Heap中。如果允许数据小量丢失，推荐使用 File Channel                  event保存在本地文件中，可靠性高，但吞吐量低于Memory Channel JDBC Channel          event保存在关系数据中，一般不推荐使用  ...
Flume_Channel
Regan_Hoo的博客
12-06 671
事务工作流Flume Channel是事务性的，由于性能的原因总是推荐每个事务有相当大数量的事件，批量写入Channel是很重要的，尤其是持久的Channel。如果sink读取完一个事件，该事件对于其他sink就是不可用的，除非回滚该sink事务。单个事务不能同时写入和读取事件。这保证了source只能往channel中放入事件，sink只能从channel中取走事件。 flume自带的channe
flume channel
最新发布
05-13
Flume channel是Apache Flume中的一个组件，它用于在source和sink之间缓存事件。它类似于消息队列，但是它是一个本地缓存，而不是分布式队列。通常，Flume channel将源收集的数据保留在内存或磁盘上，直到可以将其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

夜色如墨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值