《大数据： Flume 实时监控多个文件（Taildir Source）》

最新推荐文章于 2021-12-26 18:14:24 发布
最新推荐文章于 2021-12-26 18:14:24 发布
阅读量309 收藏
点赞数
分类专栏： 【 大数据：上篇 】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiangCSDN/article/details/109181730
版权
【 大数据：上篇 】 专栏收录该内容
107 篇文章 35 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了如何使用Flume的Taildir Source实时监控并上传整个目录下的追加文件到HDFS。Taildir Source可靠且不会错过数据，即使文件旋转，它也能从上次读取的位置恢复。配置示例中展示了监控/home/yexiang/flume/taildir目录下的1.txt和2.txt文件。通过Logger Sink和Memory Channel将数据输出到控制台，并讨论了配置文件的编写及json位置文件的更新。
摘要由CSDN通过智能技术生成

一、Flume 实时监控多个文件

需求： 使用Flume监听整个目录的实时追加文件，并上传至HDFS 

需求分析：

1. 组件选择

①.  Taildir Source

了解本专栏 订阅专栏 解锁全文
HarkerYX
关注
专栏目录
订阅专栏
《大数据： Flume 监控单个文件（Exec Source）》
yexiangCSDN的专栏
10-21 268
一、Flume 监控单个文件 需求：实时监控一个本机文件如Hive日志，并上传到HDFS中 需求分析： 1. 将数据输出到HDFS，必须持有Hadoop相关jar包，将下面JAR包拷贝到 flume/lib 目录下 commons-configuration-1.6.jar hadoop-auth-2.7.2.jar hadoop-common-2.7.2.jar hadoop-hdfs-2.7.2.jar commons-io-2.4.jar htrace-core-3.1.0-.
实时监控目录下多个新文件
zty19940628的博客
05-19 257
a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.type = spooldir a3.sources.r3.spoolDir = /opt/module/flume-1.7.0/upload a3.sources.r3.fileSuffix = .COMPLETED a3.sources.r3.fileHeader = true #忽略所有以.tmp结尾的文件，不上传
05 Flume入门案例之实时监控目录下多个新文件
阿伟的博客
10-13 403
案例需求： 使用 Flume 监听整个目录的文件，并上传至 HDFS 需求分析： 实现步骤： 创建配置文件 flume-dir-hdfs.conf vim flume-dir-hdfs.conf 编写配置文件 a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.type = spooldir a3.sources.r3.spoolDir =.
flume使用taildir，监控多个文件夹下的多个文件
weixin_41590998的博客
11-13 3252
在flume1.6及之前，要监控多个目录下的多个文件，可以使用Filelistener，在flume1.7之后，增加了TAILDIR，主要是监控文件的变化 下面介绍taildir的使用： 第一步：在flume中创建conf配置文件，我的是创建在：flume下的job文件夹中，job文件夹是我自定义的用来存放conf配置文件的： /opt/module/flume/job/flume-mysourc...
Flume经典案例之实时监控多个新文件（保姆级教程）
wanjialin的博客
12-26 840
准备工作： 1、准备多个大文件，以备后面使用 2、提前创建好目录和文件上传至linux中 操作步骤： 1、首先先将我们要操作的文件拷贝到指定的文件夹下，方便一会使用命令和写配置文件 命令cp events.csv flumelogfile/events/events_2021-12-26.csv 2、创建events-flume-logger.conf 内容如下： events.sources=eventsSource events.channels=eventsChannel events.sinks=e
Flume实时监控目录下多个新文件
zhaoxiaoba123的博客
10-02 493
1)案例需求:使用 Flume 监听整个目录的文件，并上传至 HDFS 2)需求分析: 实现步骤: 1.创建配置文件 flume-dir-hdfs.conf 创建一个文件 添加如下内容 2.启动监控文件夹命令 说明:在使用 Spooling Directory Source 时 不要在监控目录中创建并持续修改文件 上传完成的文件会以.COMPLETED 结尾 被监控文件夹每 500 毫秒扫描一次文件变动 向 upload 文件夹中添加文件 在/opt/module/flume 目录下创建 u
大数据：Flume和Sqoop
Xiao Miao的博客
05-12 2057
离线数据采集工具Sqoop和实时数据采集工具Flume
Java大数据-Flume基础架构、监听数据端口、实时监控单个追加文件、实时监控目录下多个新文件、实时监控目录下的多个追加文件
godkzz的博客
12-24 391
一、Flume 定义 Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 基础架构 （1）Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。 （2）Source Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种...
再战flume关于实时监控多个目录下多个追加文件
weixin_45425054的博客
01-13 614
我们上次练习的source用的是简单的netcat，除了它之外比较常见的还用： Exec source：适用于监控一个实时追加的文件，不能实现断点续传； Spooldir Source：适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步； 以上两种source都有各种缺陷，所以这次我们将使用更强的大Taildir Source来实验 Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传。 原理解释 首先介绍下Taildir Source断点续传的原理: 我们用flum
Flume5 实时监控目录下多个新文件
Auraros的博客
11-23 312
Flume5 实时监控目录下多个新文件 案例需求： 使用Flume监听整个目录的文件，并上传至HDFS 需求分析： 实践步骤 创建配置文件 flume-dir-hdfs.conf 创建一个文件 [atguigu@hadoop102 job]$ touch flume-dir-hdfs.conf 打开文件 [atguigu@hadoop102 job]$ vim flume-dir-hdfs.conf 添加如下内容 a3.sources = r3 a3.sinks = k3 a3.channels
Flume案例四：实时监控目录下多个新文件(Spooling Directory Source)
扛麻袋的少年的博客
06-24 783
四、Flume案例四：实时监控目录下多个新文件(Spooling Directory Source)（选型：spooling directory source + memory channel + hdfs sink）
flume采集多个文件夹日志
weixin_44455388的博客
07-01 4551
在flume1.6版本及之前，如果想要监控多个目录下的多个文件，可以使用Filelistener，在flume1.7之后，增加了TAILDIR，主要是监控文件的变化 参考配置: #配置Agent a1 的组件 a1.sources=r1 a1.sinks=s1 a1.channels=c1 #描述/配置a1的source1 a1.sources.r1.type=TAILDIR #偏移量文件 a1.sources.r1.positionFile = /opt/module/flume/data/taild
Flume6 实时监控目录下的多个追加文件
Auraros的博客
11-23 268
Flume6 实时监控目录下的多个追加文件 Exec source 适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooldir Source 能够保证数据不丢失，且能够实现断点续传，但延迟比较高，不能实时监控；而Taildir Source既能实现断点续传，又可以保证数据不丢失，还能够进行实时监控。 案例需求 使用Flume监听整个目录实时追加文件，并上传至 HDFS 需求分析 实验步骤 建配置文件 flume-file-logger.conf 创建一个文件 [atguigu@hadoop1
Flume经典案例之实时监控目录下的多个追加文件（保姆级教程）
wanjialin的博客
12-26 759
准备工作： 1、准备几个文件 2、提前建好文件夹用于存放文件 操作步骤： 1、创建配置文件taildirsource_loggersink.conf 内容如下： a1.sources=r1 a1.channels=c1 a1.sinks=k1 a1.sources.r1.type=TAILDIR a1.sources.r1.positionFile = /opt/soft/flume190/tail_dir.json a1.sources.r1.filegroups = f1 f2 a1.sources
实时监控目录下的多个追加文件
zty19940628的博客
05-19 283
a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.type = TAILDIR a3.sources.r3.positionFile = /opt/module/flume-1.7.0/tail_dir.json a3.sources.r3.filegroups = f1 f2 a3.sources.r3.filegroups.f1 = /opt/module/flume
入门案列3：实时监控目录下多个新文件
Knight
04-20 244
1）案例需求：使用 Flume 监听整个目录的文件，并上传至 HDFS 2）需求分析： 实现步骤： 1．创建配置文件 flume-dir-hdfs.conf 在job里面 vim flume-dir-hdfs.conf a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3...
flume_taildir 实时监控文件夹
Dream__Sky_的博客
08-24 580
# Please paste flume.conf here. Example: # Sources, channels, and sinks are defined per # agent name, in this case 'tier1'. tier1.sources = source1 tier1.channels = channel1 tier1.sinks = sink1 # For each source, channel, and sink, set # standard pro...
Spark Streaming之：Flume监控目录下文件内容变化，然后Spark Streaming实时监听Flume，然后从其上拉取数据，并计算出结果
涂作权的博客
07-13 2494
1、安装flume 2、到Spark-Streaming官网下载poll方式的Sink 3、将sink放入到flume的lib包里面 4、先启动flume(多个)，然后在启动Streaming程序下载spark-flume http://spark.apache.org/documentation.html 到Spark-1.6.2中 http://spark.apache.org/do
巴豆大数据：Flume日志收集系统详解与实战指南
2. **高效性**：Flume 能够高效地处理来自多个服务器的日志，尤其是对于那些需要快速转移到 Hadoop 环境中的数据。 3. **多样性**：它兼容各种数据源和接收数据类型，允许通过多路径流量、多管道接入和接出，以及上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值