flume+kafka+storm

1. 需求

将mysql增量变化的数据，实时的插入到postgresql数据库中，方法有多种实现，这里采用通过flume配置mysql的数据库源，然后flume采集到mysql的增量数据，作为kafka的生产者，然后进入kafka短暂存储，storm作为kafka的消费者，消费到kafka中的增量mysql数据，进行处理，插入到postgresql中。

整个实验环境在HDP环境中，也可以自行搭建Apache Hadoop平台。

2. kafka

cd /usr/hdp/2.6.3.0-235/kafka/bin

./kafka-topics.sh --create --zookeeper 192.168.186.48:2181  --replication-factor 1 --partitions 1 --topic xumaosheng  
./kafka-topics.sh --list --zookeeper 192.168.186.48:2181
./kafka-console-producer.sh --broker-list 192.168.186.48:6667 --topic xumaosheng
./kafka-console-consumer.sh --zookeeper 192.168.186.48:2181 --topic xumaosheng    --from-b