Storm学习小结(二)——集成JDBC和Redis

Storm学习笔记（续）

Storm集成JDBC

在自己写的一个Demo中使用了数据库存储的操作，发现一些问题，场景大致是：spout从kafka中读取数据，发送给bolt1计算得到一个数据，bolt1发给bolt2存储到Redis，bolt2发送给bolt3，在bolt3中存储到Mysql。在前面两个bolt中都没啥问题，在bolt3中，当并发量非常大时，存在获取不到数据库连接的问题，笔者首先使用的是原声jdbc，然后换了C3P0连接池，都会在不同时机出现上述问题，于是去看了看Storm的官方文档，使用了官方提供的JDBC集成方式，发现自己遇到的问题很好的解决了。所以这里主要来说下Storm对JDBC的官方集成支持。

首先来看看官方文档的说明。

Storm提供的JDBC集成是针对单表来操作的，也就是说一个jdbc bolt不管是查询还是插入操作，针对的是单表。当然，我们自己可以改写，后面再说。这里需要用到两个很重要的组件，分别是ConnectionProvider和JdbcMapper，其中ConnectionProvider负责获得数据库连接，JdbcMapper负责将Tupe和数据表里的字段做映射。

storm-jdbc提供的官方API中包括了查询和插入操作，因为查询比较简单，这里是以插入数据的角度总结的，关于查询，只要理解了插入，查询比较简单，在最后附了一块代码，感兴趣的可以看看。

添加依赖，不需要的话跳过

<dependency>
    <groupId>org.apache.storm</groupId>
    <artifactId>storm-jdbc</artifactId>
    <version>1.0.1</version>
</dependency>

1. ConnectionProvider和JdbcMapper组件介绍

（1）ConnectionProvider

根据文档说明，我们可以自己去实现一个ConnectionProvider，同时Storm也给我们提供了一个很好的实现org.apache.storm.jdbc.common.HikariCPConnectionProvider，查了下源码，这里使用的是HikariDataSource。HikariDataSource据说是“当前性能最好的数据源”，或许我上述问题的解决，关键问题就在于此~闲话不多说，通常来说，我们使用既定实现就够用了，使用方式如下：

Map hikariConfigMap = Maps.newHashMap();
hikariConfigMap.put("dataSourceClassName","com.mysql.jdbc.jdbc2.optional.MysqlDataSource");
hikariConfigMap.put("dataSource.url", "jdbc:mysql://localhost/test");
hikariConfigMap.put("dataSource.user","root");
hikariConfigMap.put("dataSource.password","password");
ConnectionProvider connectionProvider = new HikariCPConnectionProvider(hikariConfigMap);

（2）JdbcMapper：

如该组件的名字示意，JdbcMapper是个Mapper映射，将tupe和数据表的row做映射，也就是说，tupe中的field对应row中的column。同样的，我们也可以自己去实现JdbcMapper，或者使用Storm为我们提供的简单实现SimpleJdbcMapper。实现JdbcMapper接口只需要实现一个方法：

public interface JdbcMapper  extends Serializable {
    List<Column> getColumns(ITuple tuple);
}

Column是storm-jdbc定义的一个VO,对应于tupe中的field和表中的某一个字段。举个栗子，假如我们要插入的数据表包含三个字段col1,col2,col3，那么我们应该在实现该方法时，使得返回的List中包含三个elements&#x