Storm JDBC插入数据到数据库

最新推荐文章于 2023-04-28 12:27:49 发布

Nougats

最新推荐文章于 2023-04-28 12:27:49 发布

阅读量2.2k

点赞数 1

分类专栏： storm 文章标签： storm jdbc 数据库

本文链接：https://blog.csdn.net/nougats/article/details/75213819

版权

storm 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文介绍了如何在Storm中利用JdbcInsertBolt和JdbcTridentState进行数据插入到数据库的操作。首先，讲述了添加相关依赖，然后详细说明了SimpleJdbcMapper在映射数据到数据库表中的作用。接着，讨论了JdbcInsertBolt的配置，包括最大等待时间和自定义列映射。最后提到了JdbcTridentState的使用，并指出可以使用withInsertQuery来替代withTableName进行定制插入操作。

摘要由CSDN通过智能技术生成

storm jdbc

添加依赖

        <dependency>                                        
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-jdbc</artifactId>
            <version>${storm.version}</version>
        </dependency>

JdbcInsertBolt执行插入

一、SimpleJdbcMapper（ implenments JdbcMapper）用于insert到数据库，将tuples转换成DB row

JdbcMapper simpleJdbcMapper = new SimpleJdbcMapper(TABLE_NAME, connectionProvider);

使用getColumns()可以查看具体的映射关系，等于JDBC中connection.getMetaData().getColumns();

二、开始insert

JdbcInsertBolt userPersistanceBolt = new JdbcInsertBolt(connectionProvider, simpleJdbcMapper)
                                    .withTableName("user")
                                    .withQueryTimeoutSecs(30);
                                    Or
JdbcInsertBolt userPersistanceBolt = new JdbcInsertBolt(connectionProvider, simpleJdbcMapper)
                                    .withInsertQuery("insert into user values (?,?)")
                                    .withQueryTimeoutSecs(30);

可以指定最大时间，默认是topology.message.timeout.secs
三、如果要insert的只有部分列，可以使用columnschema
例如，创建表

create table if not exists user_details (user_id integer, user_name varchar(100), dept_name varchar(100), create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP);

时间戳列有默认值，插入时不需要指定
可以这样

List<Column> columnSchema = Lists.newArrayList(
    new Column("user_id", java.sql.Types.INTEGER),
    new Column("user_name", java.sql.Types.VARCHAR),
    new Column("dept_name", java.sql.Types.VARCHAR));
JdbcMapper simpleJdbcMapper = new SimpleJdbcMapper(columnSchema);

JdbcTridentState执行插入

JdbcTridentState
JdbcState.Options options = new JdbcState.Options()
        .withConnectionProvider(connectionProvider)
        .withMapper(jdbcMapper)
        .withTableName("user_details")
        .withQueryTimeoutSecs(30);
JdbcStateFactory jdbcStateFactory = new JdbcStateFactory(options);

同JdbcInsertBolt ，也可以用withInsertQuery 替代withTableName