Flume Source类型配置

最新推荐文章于 2023-04-24 12:34:33 发布
最新推荐文章于 2023-04-24 12:34:33 发布
阅读量731 收藏
点赞数
文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29342297/article/details/106781976
版权
本文介绍了Flume的多种Source类型，包括Avro Source、Exec Source、Spooling Directory Source、NetCat Source、Sequence Generator Source和HTTP Source。详细阐述了它们的配置与使用，如Avro Source用于接收AVRO客户端的事件流，Exec Source通过执行命令产生数据，Spooling Directory Source监控文件目录，NetCat Source监听端口，Sequence Generator Source生成测试事件，以及HTTP Source接收HTTP请求作为事件。
摘要由CSDN通过智能技术生成

Avro Source:

Avro Source，监听AVRO端口来接受来自外部AVRO客户端的事件流。是实现多级流动、扇出流、扇入流等效果的基础。另外也可以接受通过flume提供的Avro客户端发送的日志信息。

a1.sources.r1.type=avro(当前组件名称，必须配置为avro)

a1.source.r1.bind=0.0.0.0

a1.source.r1.port=44444

启动Agent

bin/flume-ng agent --conf conf --conf-file  conf/template01.conf --name a1 -Dflume.root.logger=INFO,console

测试：

bin/flume-ng avro-client --conf conf/ --host 0.0.0.0 --port 44444 --filename /test/nums.txt

Exec Source

Exec Source，可以将命令产生的输出作为源。

最低0.47元/天 解锁文章
腹黑客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flume Source原理与代码实例讲解
程序员光剑
06-02 849
Flume Source原理与代码实例讲解 1.背景介绍 Apache Flume是一个分布式、可靠且高可用的海量日志采集、聚合和传输的系统,它是Apache软件基金会的一个顶级项目。在大数据时代,日志数据作为企业的重要资产,如何高效地收集和传输海量日志数据成为了一个迫切需要解决的
Flume source 支持的type类型
b_just的博客
07-02 1144
Flume是一个分布式的高可用的消费组件。通过修改配置文件，可以启动不同的agent处理不同来源的数据。 agent包含source，channel，sink三个组件。今天我们学习下source的type。 1.spooldir ＃描述/配置Source a1.sources.r1.type = spooldir a1.sources.r1.spoolDir=/home/park/work/apache-flume-1.6.0-bin/mydata 　　向指定目录中传输文件，发现flum..
Flume NG 学习笔记（四）Source配置
热门推荐
顾晓艳的专栏
10-23 1万+
首先、这节水的东西就比较少了，大部分是例子。 一、Avro Source Avro端口监听并接收来自外部的Avro客户流的事件。当内置Avro 去Sinks另一个配对Flume代理，它就可以创建分层采集的拓扑结构。官网说的比较绕，当然我的翻译也很弱，其实就是flume 可以多级代理，然后代理与代理之间用Avro去连接 下面是官网给出的source的配置，加粗的参数是必选，描述就不解释了。
flume中的source端配置
CSDN_bird的博客
08-26 1786
接触过flume的朋友们应该知道flume是一个分布是的消息收集日志系统，下面为大家介绍一下flume的source端的配置 我们应该知道source端是用来收集日志的信息的，可以收集很多地方的日志，比如说：文件，文件夹，或者是nc发送的数据等等 下面我为大家说一下配置信息 1.读取nc发送的数据当做源数据 #读取的数据 源数据 a1.sources.r1.type = netcat #连接的名字...
大数据系列之Flume--几种不同的Sources
人人都是程序员
03-13 747
1.flume概念 flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境，要求java1.6以上，推荐java1.7. 将下载好的flume安装包解压到指定目录即可。 2.flume中的重要模型 2.1.1.flume Event： flu...
Flume常用组件配置（二）
辛聪明的博客
10-30 639
Flume框架学习一 Flume、Kafka、Hdfs整合 一、Flume开发中常用组件source,channel,sink等配置 agent 代理 1、channel通道 file 将事件存储在本地文件系统上的事务日志中，具有持久性：只要事件被写入channel，即使使用了代理，代理重新启动，事件也不会丢失。agent1.channnels.channel1.type=fil...
Flume_Flume常用配置2_exec.source_memory.channel_hdfs.sink
迎难而上
05-17 540
以下配置基于版本 apache-flume-1.8.0-bin我们假定已经对Flume有一定了解，并且对Flume 的各个组件有一定了解。我们演示一个基本的 source  为 exec源channel 为 memorysink 为 hdfs类型的配置示例：请确保先安装了HDFS , 并对Hadoop 有一定了解，不懂得请自行百度，或者参看博主的Hadoop 相关搭建的文章。我们在解压好的目录下创...
十一：Flume常用Source配置-taildir-source
weizhonggui的博客
01-27 1899
一：Flume概述： Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data ...
Avro Source配置详解
licw_0909的博客
12-18 2036
监听Avro端口和从外部Avro端接收事件流。 当在另一个(上一个)Flume agent搭配内置Avro sink,它可以创建分层集合拓扑。 以下为source配置时一些属性配置信息。 channels： source指定channels,可以是多个,即fan-out,用空格分割 type：组件类型名称,固定为 avro bind：监听的主机名称或者IP地址 port：绑定监听的
Flume总结02_使用案例
tyf2007635的博客
08-07 246
目录 监控某个端口 实时读取本地文件到 HDFS 实时读取目录文件到 HDFS 案例 单数据源多出口案例(选择器) 单数据源多出口案例(Sink ） 多数据源汇总案例 本文具体列举几个常见的flume使用案例，具体安装过程参见Flume总结01_架构和基本概念 部分。 在安装完成后，具体配置过程如下 监控某个端口 1在 flume 目录下创建 job 文件夹，在 job...
Flume之 各种 Source 的介绍及参数解析
weixin_40727028的博客
05-25 3617
一、Source介绍 Source用于对接各种数据源，将收集到的事件发送到临时存储Channel中。 常用的source类型有：Avro Source、Exec Source、Kafka Source、TaildirSource、Spooling Directory Source等，其他类型source请查阅Flume-NG官方介绍。 1、Avro Source 支持Avro协议，接收RPC事件请求。Avro Source通过监听Avro端口接收外部Avro客户端流事件（event），在Flume的多层架构
flume 1.9 源码阅读(四) Source配置
Cynric的专栏
11-13 1746
上一篇文章最后说到了AgentConfiguration这个类，他是flume配置文件中最核心的东西。我们先放一放看一下flume配置文件到底都有哪些东西然后回头再来看这个类以及sources、channels、sinks等组件是如何实例化的。 从官网上扒下来的一些资料： AvroSource 属性名称 默认值 描述 channels - sources要连接的channels ...
1.netcat和exec source方式
飞少fly的博客
05-31 509
1.使用官方的组件， 搭配一个 从 netcat source -> memory channel -> logger sink 的 demo 启动agent： ]# ./bin/flume-ng agent --conf conf --conf-file ./conf/1.flume_netcat.conf --name a1 -Dflume.root.logger=INFO,console 发数据： ]# telnet master 44444 flume_netcat.conf文
Flume常用组件详解之Source
qq_30612351的博客
11-11 2423
Flume常用组件详解：Source Flume支持众多的source、sink、拦截器等组件具体实现，详细手册可参考官方文档http://flume.apache.org/FlumeUserGuide.html 一、netcatsource 1、工作机制 启动一个socket服务，监听一个端口； 将端口上收到的数据，转成event写入channel； 2、配置文件 a1.sources = s1 a1.sources.s1.type = netcat a1.sources.s1.bi.
【flume 配置详解】
最新发布
scott_bing的专栏
04-24 2768
在上面的配置中，我们可以看到agent1.sources、agent1.channels和agent1.sinks这些属性，它们分别对应了源、通道和目标组件的配置，而agent1.sources.source1.type、agent1.sources.source1.command、agent1.channels.channel1.type等则对应了各自的属性。在上面的配置中，我们使用了内存通道(Memory Channel)，它的容量设置为1000，即最多可以存储1000个Event事件。
Flume＃描述/配置Source a1.sources.r1.type = http a1.sources.r1.port = 44444 a1.sources.r1.interceptor...
weixin_30751947的博客
05-10 1932
flume中的一些重要概念： 1. flume Event：flume 事件，被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。(json格式的字符串，由headers和body两部分组成) 2. flume Agent：flume 代理，是一个进程承载从外部源事件流到下一个目的地的过程。包含source channel和sink。 3. Source：数据源，消耗外部传递给他...
flume配置详解
开水烫鱼的博客
03-11 625
sources的type类型 数据源为 linux的文件： 例如： a1.sources.r1.type = exec a1.sources.r1.command = tail -F /tmp/root/hive.log a1.sources.r1.shell = /bin/bash -c 例如： a1.sources.r1.type = exec a1.sources.r1.command =...
flume简单案例2 多个source一个sink
05-22 1万+
案例设计 flume3的配置文件 # Name the components on this agent a1.sources = r1 r2 r3 a1.sinks = k1 a1.channels = c1 # # Describe/configure the source a1.sources.r1.type = exec a1.sources.r1.command =
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值