flume配置

为什么80%的码农都做不了架构师？>>>   

    最近在使用flume进行文件读取时遇到一个问题：接收到的信息未按照预想的数据格式输出。

    文件格式：

xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r

    问题现象：    

    flume source使用spooldir读取文件夹下数据文件，获取到的数据入到kafka队列中，consume队列内容时发现处理的数据长度于记录数与原始文件有很大出入，通过分析flume日志后发现每次入队列的数据长度都是一致的，数据的截断位置不固定。

    通过查阅官方文档，找到了问题原因。flume spooldir默认配置使用LINE进行数据转换。在LINE中有如下一段说明：

Property Name	Default	Description
deserializer.maxLineLength	2048	Maximum number of characters to include in a single event. If a line exceeds this length, it is truncated, and the remaining characters on the line will appear in a subsequent event.

    flume每个event中处理的最大信息长度默认配置为2048，超出的信息会进行截断处理。

    问题修改方法，在flume的配置文件里追加解析长度配置。

    flume配置方式：

#在flume agent的数据源中按实际处理的文件内容配置信息长度
producer.sources.s.deserializer.maxLineLength = 90

转载于:https://my.oschina.net/jinp/blog/307332