使用flume采集数据到kafka中

使用flume采集数据到kafka中

Flume Agent配置

agent.sources=s1
agent.channels=c1
agent.sinks=sk1

agent.sources.s1.type = spooldir
agent.sources.s1.spoolDir = /root/event_attendees
agent.sources.s1.channels = c1
#单个事件中包含的最大字符数。如果一行超出此长度，则会被截断，并且该行中的其余字符将出现在后续事件中。
agent.sources.s1.deserializer.maxLineLength = 1024000
#正则过滤拦截器
agent.sources.s1.interceptors=i1
agent.sources.s1.interceptors.i1.type=regex_filter
agent.sources.s1.interceptors.i1.regex=\s*event.*
agent.sources.s1.interceptors.i1.excludeEvents=true

agent.channels.c1.type=file
agent.channels.c1.checkpointDir=/opt/software/flume160/checkpoint
agent.channels.c1.datatDir=/opt/software/flume160/data

agent.sinks.sk1.type = org.apache.flume.sink.kafka.KafkaSink
agent.sinks.sk1.kafka.topic = topicname
agent.sinks.sk1.kafka.bootstrap.servers = single:9092

#batch.size和linger.ms配合使用,的值，默认是0，表示不做停留
agent.sinks.sk1.kafka.flumeBatchSize = 20
agent.sinks.sk1.kafka.producer.linger.ms = 1
#压缩
agent.sinks.sk1.kafka.producer.compression.type = snappy
agent.sinks.sk1.channel = c1

启动命令

$FLUME_HOME/bin/flume-ng agent --name agent -f $FLUME_HOME/xxx.conf

使用flume是遇到的常见问题

java.lang.OutOfMemoryError: Java heap space

原因：flume启动时的默认最大的堆内存大小是20M，实际环境中数据量较大时，很容易出现OOM问题

解决办法：在flume的基础配置文件conf下的flume-env.sh中添加

export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"

在flume启动脚本flume-ng中修改

JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx2048m"