spark读取kafka数据（两种方式比较及flume配置文件）

Kafka topic及partition设计

    1、对于银行应用日志，一个系统建一个topic，每台主机对应一个partition，规则为，flume采集时，同一个应用，数据送到同一个topic，一个主机，送一个partition，这样做是为了同一个日志的数据在一个partition中，顺序不会乱。另，flume配置文件可以配置sink的topic和partition id（xxx.kafka.topic = xxx ;dafaultPartitionId = x）。

2、flume送数据到kafka，flume配置文件配置文件

a1.sources = r1 a1.channels = c1 a1.sinks = k1   a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1   a1.channels.c1.type = memory a1.channels.c1.capacity = 150000 a1.channels.c1.transactionCapacity = 1500