Flume的Source类别

最新推荐文章于 2022-04-08 17:21:31 发布
最新推荐文章于 2022-04-08 17:21:31 发布
阅读量121 收藏
点赞数
分类专栏： 大数据 文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yeserumo/article/details/115320702
版权
  • AVRO：接收被AVRO序列化之后的数据，结合AVRO sink可以实现多级、扇入、扇出等流动模型
  • Exec：将一个命令的执行结果作为日志进行收集
  • Spooling Dictionary：监听指定的目录，如果该目录下产生了新文件，会自动收集新文件中的内容
  • Netcat：用于监听TCP请求，将TCP请求的内容作为日志收集起来
  • HTTP：监听HTTP请求，但是只能监听GET和POST两种，然而对于GET请求的监听不稳定，所以在实际开发中一般只用这个source来监听POST请求
  • Sequence Generator：序列产生器，会不断的产生自增的数字
夜色如墨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Flume学习之路 （二）Flume的Source类型
weixin_33957648的博客
05-07 340
一、概述 官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources 二、Flume Sources 描述 2.1　Avro Source 2.1.1　介绍 监听Avro端口，从Avro client streams接收events。当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分...
Flume（二）Flume的Source类型
weixin_42073629的博客
10-07 2710
一、概述 官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources 二、Flume Sources描述 2.1　Avro Source 2.1.1　介绍 监听Avro端口，从Avro client streams接收events。当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分层收集拓扑。字体加粗的属性必须进行设置。 2.1.2　示例 示例一：参考官方文档 #配置一个ag.
Flume的source类型
围城客的专栏
11-13 6703
1、Avro类型的Source： 监听Avro端口来接收外部avro客户端的事件流。avro-source接收到的是经过avro序列化后的数据，然后 反序列化数据继续传输。所以，如果是avro-source的话，源数据必须是经过avro序列化后的数据。利用Avro source可以实现多级流动、扇出流、扇入流等效果。接收通过flume提供的avro客户端发送的日 志信息。 2、Ex...
flume
weixin_30585437的博客
08-21 201
转自http://dblab.xmu.edu.cn 这里主要记录配置文件。 案例一：flume推送消息给Spark Streaming，Spark Streaming收到消息后进行处理。 把Flume Source设置为netcat类型，从终端上不断给Flume Source发送各种消息，Flume把消息汇集到Sink，这里把Sink类型设置为avro，由Sink把消息推送给Spark St...
使用Flume作为Spark Streaming数据源
独醉的博客
12-17 2767
使用Flume作为Spark Streaming数据源一、安装Flume二、使用netcat数据源测试Flume三、使用Flume作为Spark Streaming数据源 一、安装Flume 链接：https://pan.baidu.com/s/1fE8YStngEVY3ixFN0qOPRA 提取码：519w 对其进行解压 tar -zxvf apache-flume-1.7.0-bin.tar.gz 测试是否安装成功 ./bin/flume-ng version 二、使用netcat数据源测试
flume-ftp-source 相关jar包
09-08
由于flume官方并未提供ftp，source的支持； 因此想使用ftp文件服务器的资源作为数据的来源就需要自定义ftpsource，根据github：https://github.com/keedio/flume-ftp-source，提示下载相关jar，再此作为记录。
flume抽取数据库数据的source
01-26
标题 "flume抽取数据库数据的source" 指的是使用 Flume 的 JDBC Source 功能来从数据库中提取数据。JDBC（Java Database Connectivity）是 Java 平台用来与各种数据库交互的标准 API。Flume 的 JDBC Source 就是通过...
Flume配置文件kafkaSource
08-07
Flume配置文件kafkaSource 包含Intercepter,包含正则表达式。
Flume自定义source
03-06
Flume自定义Source,数据不丢失,一致性,可以根据自己开发情况选择
flume-sql-source-jar.zip
09-25
《Flume SQL Source的增强与应用》 Apache Flume 是一个分布式、可靠且可用于有效收集、聚合和移动大量日志数据的系统。在大数据处理领域，Flume 的作用至关重要，它能够有效地从各种数据源摄取数据并将其传输到...
Flume学习（二）Flume的Source类型
potter
05-06 3656
1、概述官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources2、Flume Sources 描述2.1　Avro Source2.1.1　介绍监听Avro端口，从Avro client streams接收events。当与另一个（前一跳）Flume agent内置的Avro Sink配对时，它可以创建分层收集拓扑。监听AV...
Flume 中 Source组件的几种类型介绍
李昊轩的博客
10-25 1万+
exec 读取某个命令的输出结果 tail -F (-f会跟丢 因为直追踪同一文件, 而-F是跟踪文件名) spooldir(读取新文件)
Flume框架及常见source组件类型
weixin_52549328的博客
12-28 1271
Flume概览 Flume是一个分布式的高可用的消费组件。通过修改配置文件，可以启动不同的agent处理不同来源的数据。 架构 配置步骤 定义流 要在单个代理中定义流，需要通过通道连接源和接收器，需要列出代理的源、接收器和通道，然后将源和接收器指向一个通道。一个source实例可以指定多个channel，而一个sink实例只能指定一个channel。格式如下： #列出代理的源、接收器和通道（别名） <Agent>.sources = <Source> <A.
Flume之source分类
qq_43193797的博客
01-21 692
Flume 不仅仅局限于日志文件的聚集. 因为数据源可以自定义, Flume 可以用来传输大量的事件数据(event data), 比如: 网络流量数据(network traffic data), 社交媒体产生的数据(social-media-generated data), 电子邮件信息(email messages)和其他任何可能的数据源. 1.avro source 监听Avro端口...
大数据系列之Flume--几种不同的Sources
人人都是程序员
03-13 740
1.flume概念 flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境，要求java1.6以上，推荐java1.7. 将下载好的flume安装包解压到指定目录即可。 2.flume中的重要模型 2.1.1.flume Event： flu...
flume中几种常见的source、channel、sink
热门推荐
喜上眉梢
11-14 2万+
flume中几种source、channel、sink的区别 一、source 1、avro source 侦听Avro端口并从外部Avro客户端流接收事件。 当与另一个（上一跳）Flume代理上的内置Avro Sink配对时，它可以创建分层集合拓扑。  channels –   type – The component type na
电商数仓flume
noob9527的博客
04-08 439
尚硅谷电商数仓flume集群配置
Flume source 支持的type类型
weixin_30423977的博客
02-28 859
　　Flume是一个分布式的高可用的消费组件。通过修改配置文件，可以启动不同的agent处理不同来源的数据。 agent包含source，channel，sink三个组件。今天我们学习下source的type。 1.spooldir ＃描述/配置Source a1.sources.r1.type = spooldir a1.sources.r1.spoolDir=/home...
Flume NG 学习笔记（一）简介
顾晓艳的专栏
10-21 3099
一、简介 Flume是一个分布式、可靠、高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据的简单处理，并写到各种数据接收方的能力。 Flume在0.9.x and 1.x之间有较大的架构调整，1.x版本之后的改称Flume NG(next generation)，0.9.x的称为Flume OG（originalgeneration）。 对于O
flume source
最新发布
06-09
Flume的核心组件包括Source、Channel和Sink。其中，Source负责从数据源中读取数据并将其写入到Channel中，Channel负责缓存数据，而Sink则负责将数据从Channel中取出并将其发送到目标系统中。 在Flume中，Source是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

夜色如墨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值