Flume-ng spoolDir目录监控踩过的坑

最新推荐文章于 2021-06-25 11:51:14 发布
最新推荐文章于 2021-06-25 11:51:14 发布
阅读量1w 收藏 4
点赞数 3
分类专栏： Flume 文章标签： flume spoolDir
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiweiwong/article/details/52220308
版权
在使用Flume-ng 1.6的spoolDir组件收集日志时，遇到文件解码错误和大文件复制异常。解码错误由于文件以GBK而非UTF-8编码导致，解决方法是配置Flume以GBK编码读取。大文件复制异常是因文件在spoolDir下不可修改，建议通过scp或cp备份后再mv进目录。为确保安全，可添加文件拷贝校验。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考此Blog，转载请申明出处。

使用Flume-ng1.6 spoolDir收集日志遇到的问题

  • 文件解码
    不能正确的重命名文件，抛出bug后，之后所有文件都不可以被flume收集，是一个比较严重的错，引起原因是flume使用NIO方式读取文件，将读取的文件以UTF-8的编码读取，在Linux状态下，默认是按照GBK编码方式存储文件，所以读取时就会遇到字符长度不够问题，解决办法：在flume配置文件中设置监控目录中读取文件的编码方式。

  • copy大文件抛出异常因为copy到spoolDir下的文件不可以被修改所致,解决方案：

    • 使用scp或者cp备份文件，然后将文件mv进spoolDir下。还可以使用后缀名正则配合，先拷贝进去.tmp的文件，等待copy完成后，rename文件名。

    • 修改源代码
      增加文件拷贝校验
      这里写图片描述

/**
  *
  * @Title: checkFileCpI
最低0.47元/天 解锁文章
flume数据丢失与重复_大数据之 --Flume介绍
weixin_36149065的博客
01-04 733
1.概述flume是高可用，高可靠的，分布式的海量日志采集、聚合和传输的系统。2.flume的作用用户行为日志通过前端平台存储到logservice中，通过flume的实时采集发过来的信息，然后发送到大数据平台上3.flume架构日志源-->source-->channel-->sink-->HDFSagent：就是一个JVM的进程，里面包含source，channel，s...
Flume-ng-1.3.0 spooling source的方式增加了对目录的递归检测的支持
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
04-22 5684
原有的spooling source的方式只支持一级目录的文件变动的检测，修改了一下源码支持对目录的递归检测，可以支持多级目录下的文件变动 SpoolingFileLineReader类增加以下下方法  /**   * add by yangbutao   *   * @param files   * @param dir   * @param filter   */  pri
flume Source志SpoolDir
chbxw
03-07 7766
二、flume监控某个目录，将数据发送kafka 2.1、flume source 使用SpoolDir 监控一个目录下的文件内容 SpoolDir监控目录下文件， 处理后的文件修改文件名 问题1： 如果上传来的文件,还没有上传完，spoolDir扫描到改文件，将会报错 所以此处我将监控前一个小时目录， #!/bin/bash #date -d "-10 min" +%...
flume第二讲spooldir source(以废弃)
weixin_45896475的博客
04-22 730
flume第二讲spooldir source(以废弃) spool(卷轴缠绕) 工作机制 监视一个指定的文件夹,如果文件夹下有没采集过的新文件,则将这些文件中的数据采集,并转成event写入channal 缺点:spooling目录中的文件必须是不可改变的,而且是不能重名的! 没有记录偏移量,不能重复采集,不能对文件的内容进行修改 在虚拟机新建一个配置文件 [root@doit02 agent]...
Flume TaildirSource 实现递归
夜的博客
06-20 1479
下载源码 flume-ng-1.6.0-cdh5.7.0-src.tar.gz 修改源码 打开 org.apache.flume.source.taildir.ReliableTaildirEventReader类 找到getMatchFiles 方法 private List<File> getMatchFiles(File p...
六、flume-ng-1.5.0-cdh5.3.6安装
lbh19630726的博客
01-07 501
①什么是flume？ flume简单来说，是离线的日志收集的工具。可以把离线收集的数据传输到hdfs上去，最传统的流程是，上传到hdfs以后，然后去跑一个mapreduce程序，再对离线的日志信息进行数据的清洗。清洗过后，我们通常把清洗过后的数据加载到hive里面去。做出一个hive的原始的一个表，然后后面走大量的hive的ETL，也就是会走大量的hive的sql。然后配置各种各样的调度。大量的...
Flume-1.9.0安装、监听端口、监控本地文件并上传HDFS、监控目录新文件并上传HDFS、监控追加文件（断点续传）
H_X_P_的博客
06-04 2081
Flume-1.9.0安装、监听端口、监控本地文件并上传HDFS、监控目录新文件并上传HDFS、监控追加文件（断点续传）
Flume-ng 1.6.0 for CDH5.7.0：稳定版本安装包发布
5. 启动Agent：使用Flume提供的命令启动Agent，运行Agent的命令通常为`flume-ng agent --conf ${FLUME_HOME}/conf --conf-file ${FLUME_HOME}/conf/flume-conf.properties --name [agent-name]`。 6. 验证安装：...
Flume练习(一)
HR的博客
01-06 749
Flume练习监控端口数据需求分析步骤实现监控单个文件，然后将数据传输到HDFS上需求实现步骤监控文件夹，将数据传输到HDFS需求实现步骤单数据源多出口案例(选择器)需求实现步骤单数据源多出口案例(Sink组)需求步骤实现多数据源汇总需求步骤实现 监控端口数据 需求分析 将数据发送到本机的44444端口，使用Flume监控本机的端口，将输入的数据跳过sink写道控制台 步骤实现 安装netcat工具 sudo yum install -y nc 判断44444端口是否被占用 sudo netst
Flume实时监控目录Spooldir
HoppingMad的博客
12-18 2671
文章目录前言一、spooldir简介二、五步法编写Agent配置三、导入驱动，准备数据1.导入驱动（重复提醒）2.创建几个数据文件三、启动Agent测试总结 前言 提示：本篇为Flume系列的实战应用，在阅读此文前请务必安装好Flume环境，可以参考日志收集工具Flume的简介与安装，基本使用可以参考Flume基本使用，监控文件变化可以参考Flume应用篇之实时监控日志并存储至HDFS，重复内容不再赘述。本机环境为： CentOS 6.5 CDH 5.3.6 JDK 1.7 本文还实现了source的文.
Flume的Spooling Directory Source支持Sub-directories
在路上的学习者
07-02 2867
使得Spooling Directory Source可以递归地对配置目录的所有子目录的所有文件进行监听。 现实需求Spooling Directory Source支持的feature官方介绍： https://flume.apache.org/FlumeUserGuide.html#spooling-directory-source使用基本的Spooling Directory Source
Flume常用配置参数
Realoyou的博客
08-08 9200
概述 本篇文章是根据Flume官网对Flume组件（Source,Channel,Sink）的常用配置参数做一个主要介绍，如有表达意思错误希望不吝指出。 Sources Flume中常用的Source有NetCat，Avro，Exec，Spooling Directory，Taildir，也可以根据业务场景的需要自定义Source,具体介绍如下。 NetCat Source ...
flume在运行中常见的问题及处理措施
weixin_30689307的博客
12-25 511
我们都知道flume是用来采集日志数据的，这就带来了问题，如果数据量过大，数据格式不同，结构复杂，flume还能正常采集数据吗？ 下面我们来说flume的常见的问题数据采集不全，脏数据多，采集过程中不断的产生新的数据 等等 这个就需要我们来发现问题，解决问题了常见的如下显示 source：：： 是flume 采集数据的入口，监控日志的系统目录。常用的 spooling Direc...
在windows搭建Flume
fany000的博客
02-26 1641
flume是一个分布式的支持高并发的日志收集系统。 本文将介绍在windows下的环境搭建。 # 下载 [下载链接](http://flume.apache.org/download.html) ![](https://img-blog.csdnimg.cn/2019022616062459.PNG?x-oss-process=image/watermark,type_ZmFuZ3poZW5naG...
flume在windows10上运行
wateryouyo的博客
08-26 9343
1. 直接下载官网flume1.8，解压到本地F盘 2. 在conf目录下复制flume-env.ps1.template改为flume-env.ps1，改下FLUME_CLASSPATH    $FLUME_CLASSPATH="F:\kafka\apache-flume-1.8.0-bin\lib"   flume-env.sh操作同上 3.检查安装是否成功：  bin\flume-...
安装Flume遇到的问题及解决
dearbaba_11的博客
06-25 597
安装Flume遇到的问题及解决
解决flume读取文件新增出错
qq_34804047的博客
07-03 344
1：现象： flume抽取日志文件时，日志文件还在增加，导致读取出错 2：原因： 1：原脚本读取网关机时，日志刚生成就被移走，同时网关已经打开文件描述符，所以后续继续向移过去的文件追加内容 2：由于网关机服务设置最大只保留一个历史文件，且生成策略为每分钟一个文件，而linux crontab执行为最低每分钟执行 3：解决方式： 1：vim /etc/postfix/main.cf 将配置inet_interfaces = all 2：更换log_copy.sh脚本，新...
HTML与CSS入门——第二章 发布Web内容
dichenzhi0708的博客
11-11 213
知识点： 　　1.使用文本编辑器创建一个基本的HTML文件的方法 　　2.使用FTP将文件传送到你的Web服务器的方法 　　3.文件在Web服务器上应该存储的位置 　　4.在没有Web服务器的情况下分发Web内容的方法 　　5.使用其他发布方式（如博客） 2.1 创建用于本章的示例文件： <!DOCTYPE html> <html> <...
Flume spooldir乱码文件导致监视线程停止解决方案
第一片心意的博客
09-15 3830
修复 flume 1.8 中 spoolDir 乱码导致的监控线程停止问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值