kafka 同步mysql_MySQL数据实时增量同步到Kafka - Flume

#数据来源

sync.sources=s-1

#数据通道

sync.channels=c-1

#数据去处，这里配置了failover，根据下面的优先级配置，会先启用k-1，k-1挂了后再启用k-2

sync.sinks=k-1 k-2

#这个是配置failover的关键，需要有一个sink group

sync.sinkgroups=g-1

sync.sinkgroups.g-1.sinks=k-1 k-2

#处理的类型是failover

sync.sinkgroups.g-1.processor.type=failover

#优先级，数字越大优先级越高，每个sink的优先级必须不相同

sync.sinkgroups.g-1.processor.priority.k-1=5

sync.sinkgroups.g-1.processor.priority.k-2=10

#设置为10秒，当然可以根据你的实际状况更改成更快或者很慢

sync.sinkgroups.g-1.processor.maxpenalty=10000

########## 数据通道的定义

#数据量不大，直接放内存。其实还可以放在JDBC，kafka或者磁盘文件等

sync.channels.c-1.type=memory

#通道队列的最大长度

sync.channels.c-1.capacity=100000

#putList和takeList队列的最大长度，sink从capacity中抓取batchsize个event&#