基于Flink的日志采集

目前基于ELK架构的日志系统，通过filebeat收集上来的日志都会发送到同一个kafka topic中，然后再由Logstash消费处理写入Elasticsearch中，这种方式导致该topic包含所有业务日志，那么各个业务去做实时统计分析就会造成重复消费，使得流量成本的浪费；对于离线分析的日志来源是通过在应用服务端定时上传的方式，对于日志量比较大的业务，一方面上传时会对应用服务器造成比较大的压力，另一方面这种上传方式对于后续小时或者分钟级别分析造成一定延时。

本文将会介绍基于Flink的日志采集平台来解决这些问题。

采集架构

•拆分：最上层Kafka A表示由filebeat收集上来的应用日志，然后通过Flink程序对Kafka topic进行拆分，根据不同的业务拆分到到下游Kafka B不同的topic中，那么对于下游的实时处理任务只需要消费对应的业务日志即可，避免了重复消费；

•转储：对于发送到Kafka B不同的业务日志，通过Flink程序转储写入到HDFS上，生成小时分区文件，供后续的离线日志分析

拆分实现

避免重复消费：为了避免对大topic的重复消费，对于同一个topic只会消费一次，也就是只会启动一个Flink任务，按照一定的规则对数据进行拆分，常见的规则就