flume spooldir source监控单目录下的多个新文件

最新推荐文章于 2024-08-06 09:20:05 发布
最新推荐文章于 2024-08-06 09:20:05 发布
阅读量714 收藏 3
点赞数
分类专栏： flume 文章标签： flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46122692/article/details/109908427
版权
本文详细介绍了如何使用Flume的Spooldir Source监控/data/mydata/upload目录，将新增文件实时上传到HDFS。配置文件设置、运行Flume过程以及验证HDFS上数据的步骤均有详细说明。
摘要由CSDN通过智能技术生成

1、需求：使用Flume监听整个目录的文件，并上传至HDFS

2、需求分析

  • spooldir 主要做的对一个目录的采集
  • 比如11月21日的（0点15-30分），采集11月20日的数据所在的目录，是离线采集的，采集完成之后把这个目录下的文件打一个标记 .COMPLETED

在这里插入图片描述

3、创建flume agent配置文件flume-dir-hdfs.conf

cd /data/flume/apache-flume
vim job/flume-dir-hdfs.conf

添加：

# Name the components on this agent
a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type = spooldir
# 定义监控目录
a3.sources.r3.spoolDir = /data/mydata/upload
# 定义文件上传完的后缀
a3
最低0.47元/天 解锁文章
flume监控实战3-spoolingDirsource监控文件目录
qq_43662627的博客
10-12 487
spoolingDirsource是安全的，不会丢失数据，但采集文件时不可以被修改，且文件不能重名 #a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #组名名.属性名=属性值 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/root/flume #定义chanel a1.channels.c1.type=memory
再战flume关于实时监控多个目录下多个追加文件
weixin_45425054的博客
01-13 646
我们上次练习的source用的是简单的netcat，除了它之外比较常见的还用： Exec source：适用于监控一个实时追加的文件，不能实现断点续传； Spooldir Source：适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步； 以上两种source都有各种缺陷，所以这次我们将使用更强的大Taildir Source来实验 Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传。 原理解释 首先介绍下Taildir Source断点续传的原理: 我们用flum
Flume1.9.0实时监控目录下多个新文件
BigData2018的博客
05-04 661
1.案例需求：使用Flume监听整个目录的文件，并上传至HDFS 2.实现步骤： （1）创建配置文件flume-dir-hdfs.conf 创建一个文件 [nogc@hadoop102 job]$ vim flume-dir-hdfs.conf 添加如下内容: a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure...
Flume监控文件夹
张鑫的博客
08-03 4073
一、需求分析 使用flume监听整个目录的文件 二、上传jar包，具体步骤见上一篇https://blog.csdn.net/student__software/article/details/81394222 三、配置文件 1、创建：$ touch flume-dir-hdfs.conf 2、编辑内容： 解析重要内容：①文件夹的source类型是spooldir ,具体配置在文档...
Flume实时监控目录下多个新文件
zhaoxiaoba123的博客
10-02 510
1)案例需求:使用 Flume 监听整个目录的文件，并上传至 HDFS 2)需求分析: 实现步骤: 1.创建配置文件 flume-dir-hdfs.conf 创建一个文件 添加如下内容 2.启动监控文件夹命令 说明:在使用 Spooling Directory Source 时 不要在监控目录中创建并持续修改文件 上传完成的文件会以.COMPLETED 结尾 被监控文件夹每 500 毫秒扫描一次文件变动 向 upload 文件夹中添加文件 在/opt/module/flume 目录下创建 u
HTML与CSS入门——第二章 发布Web内容
dichenzhi0708的博客
11-11 197
知识点： 　　1.使用文本编辑器创建一个基本的HTML文件的方法 　　2.使用FTP将文件传送到你的Web服务器的方法 　　3.文件在Web服务器上应该存储的位置 　　4.在没有Web服务器的情况下分发Web内容的方法 　　5.使用其他发布方式（如博客） 2.1 创建用于本章的示例文件： <!DOCTYPE html> <html> <...
Java大数据-Flume基础架构、监听数据端口、实时监控单个追加文件、实时监控目录下多个新文件、实时监控目录下的多个追加文件
godkzz的博客
12-24 415
一、Flume 定义 Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 基础架构 （1）Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。 （2）Source Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种...
Flume之实时监控目录下的多个追加文件
weixin_49063354的博客
08-24 816
1.实时监控目录下的多个追加文件 ​ Exec source适用于监控一个实时追加的文件，不能实现断点续传；Spooldir Source适合用于同步新 文件，但不适合对实时追加日志的文件进行监听并同步；而Taildir Source适合用于监听多个实时追加 的文件，并且能够实现断点续传。 1）案例需求:使用Flume监听整个目录的实时追加文件，并上传至HDFS 2）需求分析: （1）创建符合条件的flume配置文件 （2）执行配置文件，开启监控 （3）向监控文件追加内容 ​ echo 1111 >&
Flume(七)之Spooling Directory Source
技术博客
08-06 286
监听一个文件夹下新产生的文件，并读取内容，发至 channel。使用该 Source 需要注意两点：第一个是拷贝到 spool 目录下的文件不可以再打开编辑，第二个是 spool 目录下不可包含相应的子目录。由于该Source可靠性和稳定性较好，被不少公司采用。Spooling Directory Source用于监听指定的目录，如果目录中有新的文件，那么会自动收集新文件中的数据。注意，被收集过的文件会自动的添加一个后缀。.COMPLETED。vim test.logs 输入内容。
Spooldir
秃头的博客
10-16 410
Spooldir2HDFS Spooldir监控一个目录的。如果目录中出现了新的文件，就文件内容采集过来。 flume中的常见问题 文件采集丢失 文件采集重复 断点续传 使用taildirHDFS来进行监控 TaildirHDFS支持断点续传 断点采集方式 在采集中 将文件实时的记录在json文件中 将文件地址和他计算的偏移量记录文件被采集到哪里 根据计算偏移量来进行之后文件的加载 flume采集文件时 将以组的形式来进行 组一采集一个 组二采集一个 ...
Flume学习之监控端口数据（Exec、Spooldir、Taildir）心得
ljs_0的博客
04-12 1862
Flume监控端口数据（Exec、Spooldir、Taildir）案例
SpoolDirectorySource使用及源码分析
iteye_14970的博客
11-07 626
Spooling Directory Source简介 Spooling Directory Source可以获取硬盘上“spooling”目录的数据，这个Source将监视指定目录是否有新文件，如果有新文件的话，就解析这个新文件。事件的解析逻辑是可插拔的。在文件的内容所有的都读取到Channel之后，Spooling Directory Source会重名或者是删除该文件以表示文件已经读取完成...
flume流程之SpoolDir-memory-hdfs
鸭梨的博客
11-02 287
写一个flume流程,source为spooldir,channel为memory,sink为hdfs. 网上搜索一下,稍加修改即可. %Y%m%d/%H%M注意区分大小写. 这个代表每1min建立一个文件,频率还是比较高的,仅供测试用途. 使用日期作为路径a1.sinks.k1.hdfs.useLocalTimeStamp = true这个属性要设为true spoolDir为可靠源,可以监控新增文件. # 命名个组件 a1.sources = r1 a1.sinks = k1 a1.channels
Flume:SpoolDir实战
857技术社区
05-21 1073
#source的名字 agent.sources = s1 # channels的名字 agent.channels = c1 # sink的名字 # 指定source使用的channel agent.sources.s1.channels = c1 # 指定sink使用的channel # source的名字 agent.sources = s1 # channels的名字 agent.channels = c1 # sink的名字 agent.sinks = r1 # 指定source使用的chan.
单节点搭建flume之exec和spooldir
Technology_2016的博客
04-12 5553
一、flume安装 1、上传flume包到master并解压缩 tar -zxvf flume-ng-1.2.0-cdh3u5.tar.gz 2、添加flume路径到.bash_profile中（可有可无，只为方便） export FLUME_HOME=/home/hadoop/flume-ng-1.2.0-cdh3u5 export FLUME_CONF_DIR=$FLUME_HOME
flume第二讲spooldir source(以废弃)
weixin_45896475的博客
04-22 711
flume第二讲spooldir source(以废弃) spool(卷轴缠绕) 工作机制 监视一个指定的文件夹,如果文件夹下有没采集过的新文件,则将这些文件中的数据采集,并转成event写入channal 缺点:spooling目录中的文件必须是不可改变的,而且是不能重名的! 没有记录偏移量,不能重复采集,不能对文件的内容进行修改 在虚拟机新建一个配置文件 [root@doit02 agent]...
Flume的SpoolDirSource优化，自定义Deserializer
qq_40026968的博客
11-06 1190
SpoolDirSource采集数据默认是按行采集的，在官网的配置中有LINE和AVRO两种配置。AVRO尚未了解  在采集单行数据量少的日志文件时，使用Line采集慢 查看源码后发现实现原理非常简单 直接 copy了LineDeserializer的代码将主要逻辑改为如下 private String readLine() throws IOException {     Strin...
Flume的学习与使用
YYDS_emmm的博客
07-05 569
Flume的学习与使用 一、Flume的简介 1.1、Flume的作用 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。其最主要的作用就是，读取服务器本地磁盘的数据，将数据写入HDFS 1.2 、Flume的基本组件 ...
Flume案例四：实时监控目录下多个新文件(Spooling Directory Source)
扛麻袋的少年的博客
06-24 819
四、Flume案例四：实时监控目录下多个新文件(Spooling Directory Source)（选型：spooling directory source + memory channel + hdfs sink）
如何用flume来实时监控一个人Python自动化文件
最新发布
10-18
如果你想要实时监控一个Python自动化脚本产生的日志或其他输出，可以按照以下步骤配置Flume： 1. **安装Flume**：首先，你需要在你的服务器上安装Flume。对于Linux系统，通常可以通过包管理器（如apt或yum）获取并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值