idea在artifacts 中导入jdbc_Oracle 的 JDBC 写入有多慢?

在《Oracle 和 MySQL 的 JDBC 到底有多慢》中我们测试过 Oracle的JDBC读出性能，现在再来测试一下写入情况。

1. 数据来源

使用TPCH生成的数据，选用其中的part表来做测试，数据记录为2000万行，9个字段。它生成的原始文本文件名为part.tbl，文件大小为2.4G。

测试时先将文本读入内存形成内存对象，然后再写入，文本读入的时间不计在内。

2. 测试环境

CPU 2个Intel3014 ，主频1.7G，共12核，内存64G。

所有测试均在本机上完成，没有消耗网络传输时间。

3. JDBC写入测试

通过Oracle提供的JDBC接口，用SQL语句执行数据写入。

Java写起来麻烦，用SPL脚本执行测试：

测试结果（时间单位：秒）

2000万行记录用了一个小时写入。

每秒写入行数和表的字段数及类型都有关（part表有9个字段），只是一种参考。

4. 文本文件对比

我们再看把同样规模的数据写成文本文件需要多长时间。

编写如下SPL脚本执行测试：

测试结果是72秒！

这意味着，存成文本文件要比用JDBC写入Oracle快3631/72=50.4倍！

通常，我们把数据写入数据库是为了做进一步计算的，而文本文件却没有计算能力，即使写入速度更快一般也没什么实际意义。不过，在集算器的支持下，可以让结构化文本也拥有和SQL类似的计算能力（可参考【SPL 结构化文本计算】）。这样，把数据写成文本文件，既有较快的写入速度，也不会丧失计算能力。在需要后续计算的场合时，性能会大大优于写入数据库。

5. sqlldr导入数据

Oracle提供了从命令行导入数据的程序工具sqlldr，可以将文本文件数据直接导入到数据表里，会比使用SQL的INSERT语句要快得多。上面我们测试了生成文本文件的速度还不错，如果先将要写入的数据(与本例不同，实际应用中可能是从各种数据源中计算后得到)写入到一个临时txt文件中，然后用sqlldr将其导入，即使多了一步生成临时文件，整个过程仍很可能比用INSERT要更快。

sqlldr需要一个控制文件来指定数据如何导入，编写part.ctl文件如下：

LOAD DATA APPEND INTO TABLE PART

( P_PARTKEY terminated by '|',

P_NAME terminated by '|',

P_MFGR terminated by '|',

P_BRAND terminated by '|',

P_TYPE terminated by '|',

P_SIZE terminated by '|',

P_CONTAINER terminated by '|',

P_RETAILPRICE terminated by '|',

P_COMMENT terminated by '|')

编写如下SPL脚本执行测试：

测试结果是154秒！

这意味着，存成临时文本文件再用sqlldr导入要比直接JDBC写入快3631/154=23.6倍！

如果有大量数据需要写入数据库，那么建议采用先生成临时文件的办法。

6. 生成SPL集文件对比

我们知道，文本的解析较为复杂，在后续计算时性能不是很好，而且数据类型不严格，还有可能出错。所以，如果能生成二进制文件的话（有了集算器就可以让这些文件都拥有类似SQL的计算能力），对于后续计算的就会有较大的优势。

我们再看将数据存为SPL集文件的性能。

编写生成SPL集文件的脚本如下：

测试结果是76秒，和生成文本的速度差不多，但之后的计算性能将会大大优于文本文件，也不会有数据类型不严格的问题。

我们再简单测试一下集文件和文本文件的读入性能。

文本文件读入：

集文件读入：

测试结果文件文件读入是42秒，集文件读入是20秒！这可以确认使用二进制数据做后续计算的性能优势要大得多。

7. 结论

数据库的JDBC写入性能非常非常差！

如果要写入的数据量不大(比如在几十万条以内)，那么还可以忍受。若是数据量比较大，首先我们要分析一下数据是否必须要写入数据库？如果入库是为了进一步计算，那么可以不用入库了，存成文本文件都可以，用二进制文件当然更好（推荐使用SPL集文件，哈哈）。

如果有大量的数据必须要写入数据库，那么由前面的测试可知，推荐采用先将数据存为临时文本文件，再用数据库的导入数据工具将其导入，速度可以比JDBC快很多倍！

本文是以Oracle做测试，其它数据库大致也是类似，读者可以自行研究。