lume+kafka+storm+mysql 数据流

今天终于将 flume + kafka + storm + mysql 这条数据流走通了，虽然只是一个简单的测试例子，但是依据这条数据流可以做的事情很多。

先简单看一下这几个工具的架构吧，架构图会更好说明：

flume的架构图：

kafka的架构图：

storm的架构图：

我们使用的  flume + kafka + storm +mysql的数据流架构图：

下面介绍一下kafka到storm的配置：

其实这些都是通过java代码实现的，这里用到了 KafkaSpout类，RDBMSDumperBolt类（以后这些可以作为工具类打包上传到集群中）

storm作业中，我们写了一个KafkaStormRdbms类，作业具体配置如下：

首先设置连接mysql的参数：

[java] view plain copy print ?

1. ArrayList<String> columnNames = new ArrayList<String>();  
2. ArrayList<String> columnTypes = new ArrayList<String>();  
3. String tableName = "stormTestTable_01";  
4. // Note: if the rdbms table need not to have a primary key, set the variable 'primaryKey' to 'N/A'  
5. // else set its value to the name of the tuple field which is to be treated as primary key  
6. String primaryKey = "N/A";  
7. String rdbmsUrl = "jdbc:mysql://$hostname:3306/fuqingwuDB" ;  
8. String rdbmsUserName = "fuqingwu";  
9. String rdbmsPassword = "password";  
10.   
11. //add the column names and the respective types in the two arraylists  
12. columnNames.add("word");  
13.   
14. //add the types  
15. columnTypes.add("varchar (100)");  

配置 KafkaSpout 及 Topology：

[java] view plain copy print ?

1. TopologyBuilder builder = new TopologyBuilder();  
2.           
3.         List<String> hosts = new ArrayList<String>();  
4.         hosts.add("hadoop01");  
5.         SpoutConfig spoutConf = SpoutConfig.fromHostStrings(hosts, 1, "flume_kafka", "/root", "id");  
6.         spoutConf.scheme = new StringScheme();  
7.         spoutConf.forceStartOffsetTime(-2);  
8.           
9.         spoutConf.zkServers = new ArrayList<String>() {{  
10.                       add("hadoop01");   
11.                     }};  
12.         spoutConf.zkPort = 2181;  
13.           
14.         //set the spout for the topology  
15.         builder.setSpout("spout",  new KafkaSpout(spoutConf), 1);  
16.   
17.         //dump the stream data into rdbms table       
18.         RDBMSDumperBolt dumperBolt = new RDBMSDumperBolt(primaryKey, tableName, columnNames, columnTypes, rdbmsUrl, rdbmsUserName, rdbmsPassword);  
19.         builder.setBolt("dumperBolt",dumperBolt, 1).shuffleGrouping("spout"); 
    

原文地址: http://blog.csdn.net/baiyangfu_love/article/details/8096088