storm中使用jdbc向mysql进行批量插入的坑

原创 2015年11月18日 16:23:50

本次在storm中进行jdbc批量insert的时候,jdbc使用了executebatch进行批量插入,老是报statement cancelled due to timeout or client request错误,因为插入的数据量比较大。(默认超时为30s)

但是在本地自己测试往耗时是8秒。。。。


最后,找到了问题所在。jdbc url配置的时候需要设置rewriteBatchedStatements=true。否则,即使使用了executebatch进行插入,还是因为没有设置而变成一条一条插,这样每一次插入都要进行一次网络传输,速度自然就下来了,数据量一大,自然就会超时。。


参考:http://www.cnblogs.com/chenjianjx/archive/2012/08/14/2637914.html

版权声明:本文为博主原创文章,未经博主允许不得转载。

flume+kafka+storm+mysql

一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,...

Storm读取Mysql数据库写入hdfs------针对数据量较少的数据

1、spout: package com.TestStorm; import java.io.BufferedReader; import java.io.FileNotFoundExceptio...
  • C8232
  • C8232
  • 2016年11月17日 14:23
  • 1706

flume+kafka+storm+mysql 数据流

今天终于将 flume + kafka + storm + mysql 这条数据流走通了,虽然只是一个简单的测试例子,但是依据这条数据流可以做的事情很多。 先简单看一下这几个工具的架构吧,架构图会更...

Strom的JDBC简单实例

本实例中使用的是mysql数据库 1、maven中加入storm-jdbc和mysql的connector      org.apache.storm      storm-jdbc   ...

flume+kafka+storm+mysql架构设计

转载出处:

Storm学习小结(二)——集成JDBC和Redis

在自己写的一个Demo中使用了数据库存储的操作,发现一些问题,场景大致是:spout从kafka中读取数据,发送给bolt1计算得到一个数据,bolt1发给bolt2存储到Redis,bolt2发送给...

Storm与JDBC整合

Storm JDBC包含了核心的bolts以及trident states可以使storm topology即能对一个数据库表插入storm tuples又能对数据库进行查询操作,并且丰富了tuple...

Storm 集群连接数据库方法

问题 Linux下Java连接Mysql出现“ClassNotFoundException:com.mysql.jdbc.Driver”错误 解决 1. 把驱动文件放在这个文件夹里 ...

Storm和JDBC native集成

org.apache.storm.jdbc.bolt 下面有两个JDBC的bolt 实现类,分别为 JdbcLookupBolt 和 JdbcLookupBolt 都继承 AbstractJdbcBo...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:storm中使用jdbc向mysql进行批量插入的坑
举报原因:
原因补充:

(最多只允许输入30个字)