Flume学习7_Flume配置文件内容详解

最新推荐文章于 2024-07-18 21:37:27 发布
最新推荐文章于 2024-07-18 21:37:27 发布
阅读量5.5k 收藏
点赞数
分类专栏： Flume 原创 文章标签： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang_zhenwei/article/details/48498217
版权
本文是对CentOS6.5环境下Flume安装与配置的详细教程，深入解析Flume配置文件的内容，帮助理解并掌握Flume的数据采集与传输设置。
摘要由CSDN通过智能技术生成

对

（CentOS6.5下，Flume安装及配置详细教程）

（链接：http://blog.csdn.net/wang_zhenwei/article/details/48438105）

中的配置文件进行解释：


a1.sources = r1
a1.sinks = k1
a1.channels = c1
该配置文件中 配置了一个代理a1 
 在代理agent中配置了一个source（源）一个sink（接收器）和一个channel（通道），分别为：r1，k1，c1


# Describe/configure the source
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.so
最低0.47元/天 解锁文章
Wang_Zhenwei
关注
专栏目录
flume配置详解
开水烫鱼的博客
03-11 628
sources的type类型 数据源为 linux的文件： 例如： a1.sources.r1.type = exec a1.sources.r1.command = tail -F /tmp/root/hive.log a1.sources.r1.shell = /bin/bash -c 例如： a1.sources.r1.type = exec a1.sources.r1.command =...
Flume详细配置
weixin_36058293的博客
07-04 798
Flume： ===================== Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型，允许在线分析应用程序。 source：源 ...
大数据采集工具——Flume简介&安装配置&使用教程
最新发布
qq_73339471的博客
07-18 1864
Flume 是一个的，主要用于将大量的数据从（如日志文件、数据库、本地磁盘等）采集到（主要为）中，用来处理日志数据，并支持在数据流中可靠、高效地移动数据。
Flume配置文件(flume-site.conf)
阿童木
06-03 157
Flume配置文件(flume-site.conf) 1、 watchdog watchdog.restarts.max watchdog每分钟重启的最大数??? 2、 common node flume.config.heartbeat.period node发送心跳周期,默认5000(毫秒) flume.node.s...
Flume环境部署和配置详解及案例大全
weixin_30906671的博客
08-21 238
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 　一、什么是Flume?　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume ...
flume设置java_Flume环境部署和配置详解及案例大全
weixin_35798118的博客
02-23 687
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一、什么是Flume?flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(or...
flume配置文件详解
欢迎大神交流讨论
12-30 1565
a1.sources = r1 a1.sinks = k1 a1.channels = c1 ##注意：不能往监控目中重复丢同名文件 a1.sources.r1.type = spooldir (cdh) /exec(cdh) /taildir(apache1.7版本之后 ,监控文件和目录,断点续查) a1.sources.r1.spoolDir = /root/logs2 //监控的文件夹 a1.sources.r1.fileHeader = true a1.sinks.k1.type = hdfs.
Flume详解（包括flume框架，flume安装测试等内容）
wudidahuanggua的博客
09-26 1921
flume详细介绍
Flume参数详解
04-02
consumer的配置参数、producer的配置参数、listener的配置参数详解
flume的配置详解
shuimofengyang的博客
11-06 299
1.flume版本是1.8 关于flume的各个source channel sink选型 注意看看官网http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html source sink 选型。看你是T+1还是实时，是监控目录还是tail -F 文件。 具体优缺点看这篇博客https://blog.csdn.net/u0...
Flume简介和架构安装配置详解
zjjcchina的博客
01-19 3229
flume简介 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。 Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume 在删除自己缓存的数据。 Flume 支持定制各类数据发送方，用于收集各类型数据；同时，Flume 支持定制各种数据接受方，用于最终存储数据。
Flume的配置与使用
大头皮鞋的博客
12-04 3211
前提条件： 安装好hadoop2.7.3（Linux系统下） 安装好Flume，参考：Flume安装配置 问题： AvroSource接收外部数据源，Logger作为sink，即通过AvroRPC调用，将数据缓存在channel中，然后通过Logger打印出数据。 实验步骤： 1.进入有权限的目录，例如~目录 $ cd ~ 2.创建配置文件avro.conf（关键） ...
Flume配置文件
weixin_43247092的博客
08-18 595
Source、Channel、Sink有哪些类型 Flume Source Source类型 | 说明 Avro Source | 支持Avro协议（实际上是Avro RPC），内置支持 Thrift Source | 支持Thrift协议，内置支持 Exec Source | 基于Unix的command在标准输出上生产数据 JMS Source | 从JMS系统（消息、主
【flume 配置详解】
scott_bing的专栏
04-24 2780
在上面的配置中，我们可以看到agent1.sources、agent1.channels和agent1.sinks这些属性，它们分别对应了源、通道和目标组件的配置，而agent1.sources.source1.type、agent1.sources.source1.command、agent1.channels.channel1.type等则对应了各自的属性。在上面的配置中，我们使用了内存通道(Memory Channel)，它的容量设置为1000，即最多可以存储1000个Event事件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值