使用Flume目录采集时出现的问题

最新推荐文章于 2023-07-25 14:09:27 发布
最新推荐文章于 2023-07-25 14:09:27 发布
阅读量827 收藏
点赞数 1
文章标签： 大数据 flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_55189228/article/details/125439841
版权

问题描述:

Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.

在被采集的目录中放进了一堆的图片文件,结果出现了这个问题报错.

原因:flume是日志采集工具!!!

抓取的应该是文本文件,而图片文件,doc文件或者是exe文件都是以二进制的方式存储在计算机中的

二进制文件

数据在物理上的存储方式是二进制的,即由0/1字符串构成.而我们解读这些的方式有两种:基于字符编码,和基于值编码.

文本文件

可以用记事本打开的文件,用记事本打开二进制文件会出现乱码.日志文件,配置文件等可以按行读的文件.

在下龙兄
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka+flume 实时采集oracle数据到hive中.docx
08-11
使用Kafka和Flume可以实现实时采集Oracle数据到Hive中的需求。Kafka能够实时地从Oracle数据库中提取日志信息，而Flume能够实时地将数据写入到HDFS中。最后，Hive可以从HDFS中读取数据，并将其存储到Hive表中。
Flume 数据采集实战
12-22
《Flume 数据采集实战》 Flume 是大数据领域中常用的数据采集工具，它能高效地从各种数据源收集数据，然后传输至其他组件，如 Spark 或 Kafka，以便进行进一步的分析处理。在日志分析场景下，Flume 常用于收集...
flume报错Uncaught exception in SpoolDirectorySource thread. java.lang.OutOfMemoryError: Java heap spac
weixin_59295776的博客
07-25 244
usr/hdp/2.5.0.0-1245/flume/bin/ flume-ng.distro 启动文件中写死了：JAVA_OPTS="-Xmx20m" 需要手工修改： JAVA_OPTS="-Xms8192m -Xmx8192m -Xss256k -Xmn2g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit -Dcom.sun.management.jmxremote"
Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processi
weixin_59295776的博客
07-05 399
报错信息： 2023-07-05 15:29:11,290 ERROR source.SpoolDirectorySource: FATAL: Spool Directory source source1: { spoolDir: /root/flume }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing. java.lang.IllegalSt
Flume spooldir乱码文件导致监视线程停止解决方案
第一片心意的博客
09-15 3664
修复 flume 1.8 中 spoolDir 乱码导致的监控线程停止问题。
FATAL: Spool Directory source source1: { spoolDir: /usr/local/logs }: Uncaught exception in SpoolDir
wangxj_2017的博客
08-06 1万+
FATAL: Spool Directory source source1: { spoolDir: /usr/local/logs }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing. flume-conf.properties的配
flume 启动错误记录
error_404_11的博客
05-19 601
flume 启动错误记录
Flume报错：java.nio.charset.MalformedInputException: Input length = 1
关注网络安全、云原生安全
03-15 1457
报错信息： [ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source r1: { spoolDir: /home/frankyu/serverlogs }: Uncaug...
Flume采集Nginx日志到Hive.rar
08-01
Flume采集Nginx日志到Hive的事务表时需要导入到Flume下的Jar文件，具体使用方式可参见博文：https://blog.csdn.net/l1028386804/article/details/97975539
已上线的日志采集系统，使用flume收集日志.zip
最新发布
01-04
这个日志采集系统的架构设计体现了现代大数据处理的常见模式：使用Flume进行实时数据采集，Logstash进行数据清洗和结构化，然后借助Kafka的高吞吐能力进行数据分发，最后将数据存入适合的存储系统以备后续分析。...
Kafka hdfs flume 数据采集实验
11-17
本实验的主题是“Kafka hdfs flume 数据采集实验”，涉及的关键技术包括Apache Kafka、Hadoop Distributed File System (HDFS) 和 Apache Flume，这些工具都是大数据生态中的重要组件。下面将详细阐述它们的功能、...
FLUME启动报错ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirect
ddbbff2005的博客
03-12 3514
昨晚做项目，一切正常，今天重新执行，报错如下 [ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source source1: { spoolDir: /home/hdp01/a...
解决Flume数据采集中出现的几个问题
ForestCat的专栏
06-23 1572
22/06/23 12:08:58 ERROR hdfs.HDFSEventSink: process failed sinkjava.lang.NullPointerException: Expected timestamp in the Flume event headers, but it was null
你不知道的冷知识 | 指数退避思想及其在Flume/Hadoop中的应用
微信搜：import_bigdata，大数据领域硬核原创作者
07-16 881
前言前段时间爆改Codis的Java客户端Jodis，它的测试类中用到了指数退避算法。这是大学计算机网络课程会讲到的知识，本文权当复习，并且看看它的思想是如何应用在大数据...
flume采集日志 异常停止之后自动重启
weixin_52918377的博客
10-15 786
由于业务端日志采集格式不规范，经常会产生各种异常导致flume停止工作，如果对这些参数格式一一进行校验，影响采集速度，日志数据有一定的容错性。编一个一个脚本，不断监控flume运行状况，遇到异常，自动重启flume。 #!/bin/bash export FLUME_HOME=/opt/flume while true do pc=`ps -ef | grep kafka-flume-hdfs.conf | grep -v "grep" | wc -l` if [[ $pc -lt 1 ]] the
flume日志报错，同时没能正常收集相关日志文件
hanlanshenlan的专栏
08-16 825
flume日志报错，同时没能正常收集相关日志文件 最近flume报了一个错：Caused by: org.apache.flume.ChannelException: Space for commit to queuecouldn't be acquired Sinks are likely not keeping up with sources, or thebuffer
我的Java开发学习之旅------＞Java NIO 报java.nio.charset.MalformedInputException: Input length = 1异常
热门推荐
字节卷动
06-11 11万+
今天在使用Java NIO的Channel和Buffer进行文件操作时候，报了java.nio.charset.MalformedInputException: Input length = 1异常，具体如下： java.nio.charset.MalformedInputException: Input length = 1 at java.nio.charset.CoderResult.t
flume学习（十一）：如何使用Spooling Directory Source
xiao_jun_0820的专栏
11-28 2万+
最近在弄一个信令数据汇聚的事情，主要目的是把FTP上的信令数据汇聚到HDFS上去存储。 逻辑是这样的：把FTP服务器上的文件下载到一台主机上，然后SCP到另外一台主机上的Spooling Directory Source所监控的目录下面去，sink是hdfs（这里解释一下，由于网络环境的因素，另一台不能访问到内网的FTP服务器，所以只能这样中转一下）。 嗯，想法不错，逻辑上看上去也应该没啥问题，
使用flume采集元数据
05-10
Flume 是一个可靠、分布式、可配置的数据收集工具，可以使用 Flume 采集各种类型的数据，包括元数据。以下是使用 Flume 采集元数据的步骤： 1. 安装 Flume：可以从 Apache Flume 的官方网站下载并安装 Flume。 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值