使用flume采集数据到kafka中
Flume Agent配置
agent.sources=s1
agent.channels=c1
agent.sinks=sk1
agent.sources.s1.type = spooldir
agent.sources.s1.spoolDir = /root/event_attendees
agent.sources.s1.channels = c1
#单个事件中包含的最大字符数。如果一行超出此长度,则会被截断,并且该行中的其余字符将出现在后续事件中。
agent.sources.s1.deserializer.maxLineLength = 1024000
#正则过滤拦截器
agent.sources.s1.interceptors=i1
agent.sources.s1.interceptors.i1.type=regex_filter
agent.sources.s1.interceptors.i1.regex=\s*event.*
agent.sources.s1.interceptors.i1.excludeEvents=true
agent.channels.c1.type=file
agent.channels.c1.checkpointDir=/opt/software/flume160/checkpoint
agent.channels.c1.datatDir=/opt/software/flume160/data
agent.sinks.sk1.type = org.apache.flume.sink.kafka.KafkaSink
agent.sinks.sk1.kafka.topic = topicname
agent.sinks.sk1.kafka.bootstrap.servers = single:9092
#batch.size和linger.ms配合使用,的值,默认是0,表示不做停留
agent.sinks.sk1.kafka.flumeBatchSize = 20
agent.sinks.sk1.kafka.producer.linger.ms = 1
#压缩
agent.sinks.sk1.kafka.producer.compression.type = snappy
agent.sinks.sk1.channel = c1
启动命令
$FLUME_HOME/bin/flume-ng agent --name agent -f $FLUME_HOME/xxx.conf
使用flume是遇到的常见问题
java.lang.OutOfMemoryError: Java heap space
原因:flume启动时的默认最大的堆内存大小是20M
,实际环境中数据量较大时,很容易出现OOM问题
解决办法:在flume的基础配置文件conf下的flume-env.sh
中添加
export JAVA_OPTS="-Xms2048m -Xmx2048m -Xss256k -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit"
在flume启动脚本flume-ng中修改
JAVA_OPTS="-Xmx20m"为JAVA_OPTS="-Xmx2048m"