Flume学习笔记 --- Flume内置source,channel, sink介绍

最新推荐文章于 2023-04-15 19:36:50 发布
最新推荐文章于 2023-04-15 19:36:50 发布
阅读量892 收藏 1
点赞数 1
分类专栏： 大数据挖掘与大数据应用案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012965373/article/details/54377419
版权
本文介绍了Flume的基本组成，包括Source（如ExecSource和SpoolSource）、Channel（如MemoryChannel和FileChannel）和Sink。Source负责日志数据收集，Channel作为缓冲区确保数据传输，而Sink则将数据存储到文件系统、数据库或Hadoop。讨论了不同Source和Channel的特点，如ExecSource的实时性与风险，以及SpoolSource的数据完整性。同时提到了在实际应用中结合log4j和FileChannel提高监控效率的方法。
摘要由CSDN通过智能技术生成

Flume主要由3个重要的组件构成：

DATA MODEL（DM）：


了解本专栏 订阅专栏 解锁全文
杨鑫newlfe
关注
专栏目录
订阅专栏
Flume学习笔记 --- Flume搭建与配置
杨鑫newlife的专栏
07-22 281
1.添加一个Agent Flume代理配置存储在本地文件中。这里是一个遵循Java属性文件格式的文本文件。可以在同一个配置文件中至指定一个或多个Agent的配置。 配置文件包含代理中每个Source, Sink和Channel的属性以及如何连接称为数据流。 2.配置单个组件 流中的每个组件（source, sink, channel) 都具有特定与类别和实例化的名称，类型和属性集。 例...
flume的Source(数据源)
古龙
12-18 5859
source学习网址： http://flume.apache.org/FlumeUserGuide.html 一、Avro类型的Source 监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继续传输。所以，如果是avro-source的话，源数据必须是经过avro序列化后的数据。而netcat...
Flume --Source
会飞的猪的 博客
07-09 165
 使用avro源：监听Avro端口并从外部Avro客户端流接收事件。当与另一个(前一跳)水槽代理上的内置Avro接收器配对时，它可以创建分层集合拓扑。1.配置flume【avro_r.conf】 #comonents a1.sources = r1 a1.sinks = s1 a1.channels = c1 #source a1.sources.r1.type = avro a1.source...
Flume--Source、Channel、Sink
weixin_42946624的博客
10-18 263
Flume 是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统 Flume中的3个重要组件构成： source：完成对日志数据的收集，分成transtion和event打入到channel中； channel：主要提供一个队列的功能，对source提供数据进行简单的缓存； sink：取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器。 Channel有多种...
Flume之Source全面解析
夜阑听风
03-04 6623
网上关于Flume的解析已经非常非常多了，本文重在于介绍使用Flume过程中常用的诸多Source。详细介绍如下，另附官网链接：flume官网（1）Avro source：flume第一种数据来源，可以监听IP和端口，并不一定是本机的IP，可以监听其他机器的IP和port，用于获取数据，需要指定type，bind，以及port，其他都可以使用默认配置，而且可以配置拦截哪些IP的请求，对其不进行监听...
Flume学习（二）Flume的Source类型
potter
05-06 3687
1、概述官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources2、Flume Sources 描述2.1　Avro Source2.1.1　介绍监听Avro端口，从Avro client streams接收events。当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分层收集拓扑。监听AV...
Flume学习笔记 --- Flume架构介绍
杨鑫newlife的专栏
07-18 260
1.数据流模型： Flume event 被定义为具有字节有效负载和可选字符串属性集的数据流单元。Flume代理是一个（JVM）进程，它继承 event 从外部数据源流向下一个目标（跳跃hop）的组件。 Flume source 消耗由外部源（如web服务器）传递给它的event。外部source以目标Flume source识别的格式向Flume发送事件。 例如：Avro ...
Flume学习笔记 --- Flume数据抽取
杨鑫newlife的专栏
07-23 1107
1.Flume支持许多从外部源获取数据的机制。 2.RPC模式 Flume发行版本包含的Avro客户端可以使用Avro RPC 机制将给定文件发送到Flume Avro源。 $ bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10 上面的命令会将/usr/logs/log.10的内容发送到监听该端口的Flume...
Flume学习笔记 --- Flume简介
杨鑫newlife的专栏
07-18 251
1.背景简介： Flume最早是Cloudera提供的一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。 它具有基于流数据流的简单灵活的架构。 它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。 它使用简单的可扩展数据模型，允许在线分析应用程序。 Apache Flume的使用不仅限于日志数据聚合。 由于数据源是可定制的，因此Flume可用于传输大量事...
Flume的source、channel、sink分别都有哪些
qq_41544550的博客
07-30 1265
先来看下Flume的架构 Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。 Agent主要由Source、Channel、Sink3个部分组成。 Source Source是负责接收数据到Flume Agent的组件。 Channel Channel是位于Source和Sink之间的缓冲区。因此，Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的，可以同时处理几个Source的写入操作和几个Sink的读取操作。 Si
Flume之 各种 Source 的介绍及参数解析
weixin_40727028的博客
05-25 3625
一、Source介绍 Source用于对接各种数据源，将收集到的事件发送到临时存储Channel中。 常用的source类型有：Avro Source、Exec Source、Kafka Source、TaildirSource、Spooling Directory Source等，其他类型source请查阅Flume-NG官方介绍。 1、Avro Source 支持Avro协议，接收RPC事件请求。Avro Source通过监听Avro端口接收外部Avro客户端流事件（event），在Flume的多层架构
02_Flume之各种Source的介绍及参数解析
最新发布
weixin_40727028的博客
04-15 929
Source用于对接各种数据源，将收集到的事件发送到临时存储Channel中。常用的source类型有：Avro Source、Exec Source、Kafka Source、TaildirSource、Spooling Directory Source等，其他类型source请查阅Flume-NG官方介绍。source类型说明1支持Thrift协议，Thrift Source监听Thrift端口，接收外部Thrift客户端发送过来的Thrift Event数据。
flume基本概念与操作实例（常用source）
m0_63099094的博客
11-06 367
Source：采集源，用于跟数据源对接，以获取数据； Channel：agent内部的数据传输通道，用于从source将数据传递到sink； Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据； 在整个数据的传输的过程中，流动的是event，它是Flume内部数据传输的最基本单元。 event将传输的数据进行封装。如果是文本文件，通常是一行记录，event也是事务的基本单位。event从source，流向channel，再到sink，本身为一个字.
Flume NG源码分析（四）使用ExecSource从本地日志文件中收集日志
ITer_ZC的专栏
06-16 5266
常见的日志收集方式有两种，一种是经由本地日志文件做媒介，异步地发送到远程日志仓库，一种是基于RPC方式的同步日志收集，直接发送到远程日志仓库。这篇讲讲Flume NG如何从本地日志文件中收集日志。 ExecSource是用来执行本地shell命令，并把本地日志文件中的数据封装成Event事件流在Flume NG中流动。它的典型配置如下，指定source类型是exec，指定Source下游
Flume的Source，Sink，Channel的作用？
mischen520的博客
07-02 2052
（1）Source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy （2）Channel组件对采集到的数据进行缓存，可以存放在Memory或File中。 （3）Sink组件是用于把数据发送到目的地的组件，目的地包括Hdfs、Logger、avro、thrift、ipc、file、Hbase、solr、自定义。 ...
flume配置文件example
wx740851326的博客
05-16 350
flume配置文件example #agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Spooling Directory是监控指定文件夹中新文件的变化，一旦新文件出现，就解析该文件内容，然后写入到channle。写入完成后，标记该文件已完成或者删除该文件。 #配置source1 ag
flume安装及示例
dmakaay4656225717的专栏
12-30 105
关于Flume flume的宗旨是向hadoop批量导入基于事件的海量数据。一个典型的例子是利用flume从一组web服务器中收集日志文件，然后将日志文件中的日志事件保存至HDFS，以便进行具体的分析。 flume基本构件source-channel-sink，使用flume需先运行flume agent。flume agent由持续运行的source、sink以及channel构成的j...
Flume实战案例一，从指定网络端口采集数据输出到控制台
璀璨下的一点星辰
11-07 1689
flume新建任务就是在写配置文件   配置example.conf   在conf下新建文件example.conf   加入 # example.conf: A single-node Flume configuration 需要配置agent a1 source r1 channel k1 sinks c1 然后将source，channel，sinks关联起来 # Name t...
构建实时大数据处理系统：Flume-Kafka-Storm-HDFS集成实战
"本文主要介绍了如何构建一个基于flume-ng、Kafka、Storm和HDFS的实时处理系统，探讨了项目架构的特点、数据准确性保证、Kafka的原理以及flume与Kafka的集成方法，同时提供了监控数据传输的手段。" 大数据处理中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杨鑫newlfe

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值