04_Flume入门_组件介绍

最新推荐文章于 2023-05-10 16:17:37 发布
最新推荐文章于 2023-05-10 16:17:37 发布
阅读量221 收藏 1
点赞数
分类专栏： flume 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41709577/article/details/112174825
版权
本文介绍了Flume的常用组件，包括Avro Source、Exec Source、Spooling Directory、Taildir Source、Kafka Source等数据采集方式，以及HDFS Sink、Hive Sink、Logger Sink、Avro Sink等数据输出方式。此外，还提到了Memory Channel、JDBC Channel和File Channel等数据通道，以及Flume的Channel Selectors和Sink Processors在数据流向控制中的作用。
摘要由CSDN通过智能技术生成


在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
第一个：Avro Source 阿波罗source一定会用到的
flume采集数据，存在单点故障，希望数据再有一个flume需要一个RPC远程通讯框架。
第二个：Exec Source 执行命令行 tail -f可以监控结尾的变化数据。
第三个：spooling Directory和目录相关
第四个：Taildir Source:使用频率很高，监控本地文件
第五个：Kafka Source，数据可以从Kafka读，也可以写到Kafka里去
可以从本地

最低0.47元/天 解锁文章
有上进心的阿龙
关注
专栏目录
大数据技术之_09_Flume学习_Flume概述+Flume快速入门+Flume企业开发案例+Flume监控之Ganglia+Flume高级之自定义MySQLSource+Flume企业真实面试题
黑泽君
03-04 1213
大数据技术之_09_Flume学习_Flume概述+Flume快速入门+Flume企业开发案例+Flume监控之Ganglia+Flume高级之自定义MySQLSource+Flume企业真实面试题
Flume基础介绍
yingzi的技术博客
01-24 606
文章目录1.Flume定义2.Flume基础架构2.1Agent2.2Source2.3Channel2.4Sink2.5Event 1.Flume定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 2.Flume基础架构 2.1Agent Agent是一个JVM进程，它以事件的形式将数据从源头送至目的 Agent主要由三部分组成：Source,Channel,Sinke 2.2Source ​ Sourc
flume基本概念及相关参数详解
weixin_30641999的博客
02-21 612
1、flume是分布式的日志收集系统，把手机来的数据传送到目的地去 2、flume传输的数据的基本单位是 event，如果是文本文件，通常是一行记录。 event代表着一个数据流的最小完整单元，由零个或多个header和正文组成，header类似于http头，包含时间的时间戳或者来源服务器主机名等。 3、flume里面有个核心概念，叫做agent,agent是一个java进程，运...
Flume简介
Fys的博客
03-14 5514
1、什么是flume flume 是由 cloudera 软件公司产出的可分布式日志收集系统，后与 2009 年被捐赠了 apache 软件基金会， 为hadoop 相关组件之一。 Flume 是一种分布式 ， 可靠且可用的服务 ， 用于高效地收集 ， 汇总和移动大量日志数据 。 它具有基于流式数据流的简单而灵活的架构 。 它具有可靠的可靠性机制以及许多故障转移和恢复机制 ， 具有强大...
【大数据常用组件】Flume组件总结
不会debug的攻城狮
03-15 1770
Flume是一个基于分布式的海量日志采集、聚集、传输系统，在大数据领域中得到广泛使用，主要用于采集源数据，工作于数仓中的ODS层。
Flume根据Header里面的属性来判断发送到哪个机器上面 *
张俊杰 的博客
10-26 992
准备 三台机器,安装好Flume 前言 （三）Multiplexing Channel Selector Multiplexing Channel Selector根据evnet header中属性，参考用户自己配置的映射信息，将event发送到指定的channel a1.sources = r1 a1.channels = c1 c2 c3 c4 a1.sources.r1.selector.type = multiplexing a1.sources.r1.selector.header = sta
flume设置java_Flume环境部署和配置详解及案例大全
weixin_35798118的博客
02-23 692
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一、什么是Flume?flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(or...
Flume入门必看
m0_59737088的博客
07-15 289
Flume 一、概述 本文参考原文链接 1.Flume定义 Flume是Cloudera提供的一个海量日志采集、传输的系统。Flume基于流式架构，灵活简单。 2.Flume优点 ① 可以和任意存储进程集成 ② 输入的数据速率大于写入目的存储的速率，flume会进行缓冲，减小hdfs的压力。 ③ flume中的事务基于channel，使用了两个事务模型（sender + receiver），确保消息被可靠发送。 ​ Flume使用两个独立的事务分别负责从source到channel，以及从
Flume拦截器过滤配置(全网最详细)
最新发布
互联网知识分享
05-10 846
监控目录面的不要修改内容 , 一旦监控过后就不会在监控了，所以最好使用在新创建一个文件里面创建新内容,而监控文件可以使用追加内容，而监控目录不支持追加内容。*表示匹配前面的字符多次。命令 mv flume-env.sh.template flume-env.sh。命令 mv flume-env.sh.template flume-env.sh。命令 mv flume-env.sh.template flume-env.sh。命令 mv flume-env.sh.template flume-env.sh。
Flume_Flume常用配置5_header + filter taildir.source_memory.channel_hdfs.sink
迎难而上
05-17 1033
以下配置基于版本 apache-flume-1.8.0-bin我们假定已经对Flume有一定了解，并且对Flume 的各个组件有一定了解。我们演示一个基本的 source  为 taildir源channel 为 memorysink 为 hdfs 类型的配置示例：上一个配置中，我们对spooldir 源进行了简单的讲解，也提出了spooldir 中存在的问题，这一章我们对 1.8新推出的tail...
flume学习（七）：如何使用event header中的key值
xiao_jun_0820的专栏
07-29 1万+
前面我们已经说到我们在header中添加了一个
【Flume】【源码分析】flume中事件Event的数据结构分析以及Event分流
热门推荐
三也_攻城狮
02-12 1万+
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。 前言 首先来看一下flume官网中对Event的定义 一行文本内容会被反序列化成一个event【序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化，它将流转换为对象。这两个过程结合起来，可以轻松地...
spark-streaming 获取 flume 传递的header
weixin_40809627的博客
01-21 652
环境： cm 5.13.0 flume 和kafka 为 cm 自动安装 spark-streaming 通过远程安装的版本为 2.2.0 flume+kafka+spark-streaming，应该说这一套架构已经成为流式计算的标配了。 具体配置为 采集数据的flume agent collector.sources = taildir-source collector.channels = f...
Flume架构详细刨析
weixin_55796089的博客
02-08 2225
flume从入门到精通，本文介绍flume常用的Source，channel，sink类型，帮助你快速提升对flume的认识和理解。
Flume常用配置参数
Realoyou的博客
08-08 9101
概述 本篇文章是根据Flume官网对Flume组件（Source,Channel,Sink）的常用配置参数做一个主要介绍，如有表达意思错误希望不吝指出。 Sources Flume中常用的Source有NetCat，Avro，Exec，Spooling Directory，Taildir，也可以根据业务场景的需要自定义Source,具体介绍如下。 NetCat Source ...
Flume 总结（二）flume概念
xiaohu21的博客
10-10 224
Flume 总结（二）flume概念 1. agent 代理 flume作为分布式日志采集框架，需要从各种分布式集群中进行日志文件采集 这时候，flume就需要在各个节点上运行一个程序进行数据采集，这个程序就叫做agent。（可以理解flume就是一个抽水机系统，agent就是挂在各个池塘，河流中的一个一个抽水机，agent抽水之后，通过管道将水汇聚到一个地方） flume 采集系统就是由agent互相连接组合起来的，和抽水机一样，agent也可以互相连接起来，组合成一个负载的级联网络，就跟大家在生活遇到
Flume spoolDirSource 无法加header怎么办
weixin_41227335的博客
10-17 615
自带的spoolDirSource不像avroSource一样可以加文件头，所以我们需要自定义 步骤： 1.在项目目录下的Maven dependencies下找 下面选中的的： 2.自己新建一个MySpoolDirectorySource的java class，将上面那个SpoolDirectorySource.class中的所有代码自己复制过去，改一下类名就行。 3.找到run方法，在下面...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值