Flume的Source、Channel类型选择

最新推荐文章于 2024-10-09 17:02:48 发布

澜的大数据

最新推荐文章于 2024-10-09 17:02:48 发布

阅读量229

点赞数

分类专栏： Flume 文章标签： flume kafka 大数据

本文链接：https://blog.csdn.net/qq_52868288/article/details/125336892

版权

Flume 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Source

flume1.6

exec

好处：实时监控文件变化
坏处：有丢数据的风险

spooling

好处：可以实现断点续传
坏处：不能实时监控文件变化

flume1.7

taildir

好处：断点续传，可以实时监控文件变换

Channel

file channel

数据存储在磁盘中可靠性高效率低

memory channel

数据存储在内存中，可靠性差，效率低

kafka channel

数据存储在kafka中，存储在磁盘中，可靠性高，省去了kafka sink，传输效率也高（flume 1.6的时候诞生的，pares AsAflumeEvent=true ,设为flase不起作用，在1.7版本修复了bug）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

澜的大数据

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Flume的Channel类别

yeserumo的博客

03-30

519

Memory：内存通道，这个channel是将数据临时存储在内存中的，特点是读写快但是不可靠，如果考虑吞吐量，那么推荐使用Memory Channel。其常用参数有Capacity表示信道存储的最大事件数量，默认为100，建议实际工作调整为10万；transactionCapacity表示每个事务的最大事件数，默认为100，建议实际工作调整为1000~3000 File：文件通道，这个channel将数据临时存储在硬盘中，特点是可靠但是读写速度相对较慢，如果考虑数据的稳定性，推荐使用 JDBS：将数据临时.

Flume中常用Source和Channel类型的特点

qq_54021998的博客

04-06

532

Source选择 NetCat Source 一个NetCat Source用来监听一个指定端口，并将接收到的数据的每一行转换为一个事件。 TailDir Source：断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。 Exec Source 可以实时搜集数据，但是在Flume不运行或者Shell命令出错的情况下，数据将会丢失。 Spooling Directory Source 监控目录，支持断点续传。 Channel选择 Kafka Channel

参与评论您还未登录，请先登录后发表或查看评论

Flume 数据采集系统性能优化和关键问题汇总

热门推荐

小草君技术专栏

06-01

1万+

Flume 性能优化和关键问题汇总 Flume 数据采集系统性能优化和关键问题汇总 Flume 数据采集系统性能优化和关键问题汇总

Kafka Channel的parseAsFlumeEvent

Lorenzo's Oil

06-17

1343

Kafka Channel的parseAsFlumeEvent的默认值为true，即会为对source来的数据进行解析，解析完会对数据前加前缀，前缀为topic名，因此这种情况，下游会需要做额外的截取工作，所以，当不需要前缀名时，将该属性设置为false ...

（转载）Flume简单介绍

moose_killer的博客

03-16

1265

Flume概述： Apache Flume是一个分布式的、可靠的、可用的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源移动到一个集中的数据存储。 Apache Flume的使用不仅仅局限于日志数据聚合。由于数据源是可定制的， Flume可以用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息和几乎所有可能的数据源。 ================================================================= f

flume channel 选择

Hui950317的博客

04-11

1745

1.Memory Channel type=memory 内存通道是一个内存队列，源将事件写入其尾部，接收器从其头部读取事件。内存通道存储堆上的源写入它的事件。我们可以配置最大尺寸。由于它将所有数据存储在内存中，因此提供了高吞吐量。它最适合那些不担心数据丢失的流。它不适用于涉及数据丢失的数据流 2.File Channel type=file 它是 Flume 的持久通道。文件通道将所有水槽事件写入磁盘。即使进程或机器关闭或崩溃，它也不会丢失数据。此通道确保仅当接收器使用事件并提交事务

flume source channel sink

do_what_you_can_do的博客

11-20

493

Flume Source Source类型说明 Avro Source 支持Avro协议（实际上是Avro RPC），内置支持 Thrift Source 支持Thrift协议，内置支持 Exec Source 基于Unix的command在标准输出上生产数据 JMS Source 从JMS系

Flume的Source类型

lv_hulk的博客

03-19

1090

Flume的Source类型一、概述官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources 二、Flume Sources 描述 2.1　Avro Source 2.1.1　介绍监听Avro端口，从Avro client streams接收events。当与另一个（前一跳）Flume agent内置的Avro...

Flume-常见source、channel、sink

_衷愉的博客

01-02

2152

常见Flume-source、channel、sink详解Flume SourcesAvro SourceExec SourceSpooling Directory SourceKafka Source Flume Sources Avro Source Listens on Avro port and receives events from external Avro client strea...

Flume KafkaChannel的使用

upupfeng的博客

03-03

2085

Flume提供了Kafka Sink将数据写入Kafka，也提供了KafkaChannel使用Kafka作为Channel存储数据。使用KafkaChannel既可以避免Memory Channel的内存溢出，又可以提供不错的性能。另外当我们需要将数据写入Kafka时，可以不需要Sink，直接使用KafkaChannel就可以将数据写入Kafka，省去了Sink的开销。以下简单介绍下KafkaChannel的使用。Flume的版本是1.9.0。需要注意的几点通常，与channel相关的配置值应用

Flume Source原理与代码实例讲解

AI天才研究院

06-02

871

Flume Source原理与代码实例讲解 1.背景介绍 Apache Flume是一个分布式、可靠且高可用的海量日志采集、聚合和传输的系统,它是Apache软件基金会的一个顶级项目。在大数据时代,日志数据作为企业的重要资产,如何高效地收集和传输海量日志数据成为了一个迫切需要解决的

flume Channel选择器

SW_LCC的博客

08-28

2530

简介 channel处理器用于决定source接收的时间写入哪个channel，由其通知channel，并将时间写入。选择器类型 flume自带两种选择器: 1.relicating(复制选择器）,默认使用 2.multiplexing(多路复用选择器) 1.复制选择器复制选择器会复制每个source接收的事件，将事件复制并分发到所有channel，可通过配置参数，控制分发的channel。 ...

Flume中Source、Channel、Sink配置

sharkdoodoo

02-17

846

使用Flume接收日志

Flume--总结

qq_46893497的博客

12-13

529

数据采集目的：将各种原始数据采集到大数据平台中采集工具文件：Flume的主要应用场景 RDBMS：Sqoop的主要应用采集方式全量：每次都是将所有数据进行采集适合于数据迁移增量：每次都是将最新的数据进行采集适合于数据同步【主要使用这个】 Flume功能及特点实时数据流采集工具功能：实现将数据进行采集特点功能会比较全面：提供了各种各样的已经开发好的采集的组件，支持自定义开发组件使用相对简单：定义一个配置文件，定义配置即可性能比较高：实时性比较高，将数据动态监

Flume的Channel分类

围城客的专栏

11-13

6523

channel可以理解为一种临时的存储，source将event放入channel ,sink取走它。flume提供了四种可以用于生产环境的channel。 1.Memory Channel 基于内存的channel，实际就是将event存放于内存中一个固定大小的队列中。其优点是速度快，缺点是可能丢失数据。可配置属性如下：属性默认说明 type – 这里为...

Flume面试整理-Flume的核心组件

不务正业的猿

09-30

494

Channel保证数据的可靠传输，并提供了数据暂存功能，使得Source和Sink可以解耦，独立地工作。Agent是Flume的一个运行实例，它是Source、Channel和Sink的组合。Sink是Flume的出口组件，负责从Channel中读取数据，并将数据输出到最终的存储系统或进一步的处理系统。通过理解Flume的这些核心组件及其作用，可以更好地设计和配置数据流，从而满足不同的数据收集和传输需求。File Channel：将数据存储在文件系统中，提供高可靠性和持久性，适用于需要数据持久化的场景。

Spring Cloud Stream 3.x+kafka 3.8整合

最新发布

StreamlineWq的博客

10-09

932

SpringCloud Alibaba五大组件之——RocketMQ，趁着此机会，继续学习了解一下Spring Cloud Stream，本文就以kafka为例。本文项目用到的所有Maven依赖和版本，都是和前面几篇文章一样。由于整合kafka 不需要用到Cloud Alibaba一系列的技术，所以下载到源码运行不起来的，请删除mysql，nacos，dubbo，redis等一系列相关的依赖和代码。本文写下的时候，kafka最新版本为3.8版本，所以就以3.8版本举例说明。

基于Kafka2.1解读Producer原理

liangsheng_g的专栏

10-09

474

相信现在的javer对于Kafka应该都很熟悉了，不管是八股文还是工作中使用。虽然Kafka server是scala写的，但是client是java写的，所以咱们理解client的代码还是比较容易的，今天先来基于源码解读下Kafka Producer的主体流程Kafka的消息发送其实就是一个RPC的过程，有自己的网络协议、消息协议、消息序列化方式、数据批量发送（增加吞吐量）、超时处理、底层网络模型。不过Producer对于batch的复用，其实还是有一定的厉害之处的，等下次有空分析下~

RabbitTemplate与AmqpTemplate：Spring AMQP中的消息传递模板

qq_51321722的博客

10-05

595

是Spring AMQP框架的核心接口，它定义了一套标准的AMQP操作，如发送和接收消息、声明队列和交换机等。这个接口是对AMQP协议的抽象，提供了一种面向对象的方式来操作AMQP协议。它基于RabbitMQ的Java客户端库实现，使得开发者可以通过Spring框架的依赖注入和配置机制来简化与AMQP消息队列系统的交互。而则是Spring AMQP为RabbitMQ提供的一个高级消息操作模板。它实现了接口，并添加了一些针对RabbitMQ的特性和优化。不仅提供了与。

hdfs是Flume的channel类型

05-23

HDFS并不是Flume的channel类型，而是Flume的一种sink类型。Flume的channel类型包括：Memory、JDBC、File、Kafka等。Flume通过source将数据采集到channel中，再通过sink将数据发送到目的地。在Flume的架构中，channel用于存储数据，而sink用于将数据发送到外部系统。HDFS是Flume的一种sink类型，可以将数据存储到HDFS中。