分布式消息中间件（四）——Flume+Kafka+Storm+Redis生态架构实战

一、Kafka项目应用架构分析

1、Kafka生态架构

 

     数据收集的速度，跟处理的速度不一定一致，故使用Kafka中间件作为数据收集和数据处理的一个Access入口，接收flume收集的数据，并通过kafkaSpout提交给Storm进行处理。

2、kafka 消息生产者

3、kafka 消息消费者

 

二、Kafka Producer

 1、配置FlumeCluster向Kafka传送数据 

#配置数据来源，flume channel通道名
producer.sources.s.type=spooldir   
producer.sources.s.spoolDi=/home/dir/logdfs
producer.sources.s.channels=c

#配置flume sink 类型
producer.sinks.r.type=org.apache.flume.plugins.KafkaSink
producer.sinks.r.metadata.broker.list=dn1:9092,dn2:9092,dn3:9092
producer.sinks.r.costom.topic.name=kafka-ubas

    服务器上一脚本负责不断产生数据， flume负责接收，通过配置kafka，接收flume指定通道/sink数据；kafkaMonitor管理页面（ 同ActiveMQ管理页面）可看到Producer数据动态增长。

2、Kafka客户端消费测试

/*
 *  Kafka Consumer测试 
 */
public class TestKafkaConsumer extends Thread {
	private ConsumerConnector consumer;
	private String topic;
	private final int SLEEP = 1000 * 3;