Flume学习12_Flume Spooling directory source读取文件格式的要求

最新推荐文章于 2024-07-23 08:03:31 发布

Wang_Zhenwei

最新推荐文章于 2024-07-23 08:03:31 发布

阅读量7.9k

点赞数

分类专栏： Flume 原创文章标签： flume

本文链接：https://blog.csdn.net/wang_zhenwei/article/details/49718467

版权

本文详细介绍了在使用Flume的Spooling directory source时，不同文件格式可能导致的错误情况。实验涵盖了包含汉字、特殊字符、回车符和CSV格式的文件，发现这些文件在读取时会出现问题。而纯数字或无特殊字符的文件则能成功读取。这为理解和优化Flume的数据源配置提供了参考。

摘要由CSDN通过智能技术生成

把Flume的Source设置为 Spooling directory source，在设定的目录下放置需要读取的文件，一些文件在读取过程中会报错。

文件格式和报错如下：

实验一

读取汉子和“；"符号的TXT文档

会报一下错误

2015-11-06 22:16:02,386 (pool-3-thread-1) [ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source r1: { spoolDir: /home/hadoop/flumeSpool-2 }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing.
java.nio.charset.MalformedInputException: Input length = 1
	at java.nio.charset.CoderResult.throwException(CoderResult.java:281)
	at org.apache.flume.serialization.ResettableFileInputStream.readChar(ResettableFileInputStream.java:195)

实验二

读取数字和”；“符号的TXT文档