Greenplum6 JDBC insert性能媲美MySQL

了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站

近些年，大数据技术在IT界里已经是必提的话题了，朋友圈里经常看到一些同事们、项目合作公司朋友们转发的大数据相关文章。最近工作中也在做一款与数据相关的产品，不幸的是，真正遇到数据量大的时候，发现常用的MySQL等数据库真是顶不住。百度一下，当前流行的Greenplum数据库映入眼帘。仔细一查，发现Greenplum还是个开源数据库，再去各大招聘网站和APP查看了一下，招聘Greenplum相关人才的还真不少。在一番调研后，经测试发现，参数调优后的Greenplum数据库Insert写入性能有很大程度提升，完成100W数据写入由每秒780条提升到2252条，写入速度已经与MySQL相媲美了。用这篇文章来记录一下我的测试与调参过程。

开始接触Greenplum是一次机缘巧合，当时领导让调研下Greenplum的性能，于是我在公司用了四台虚拟机，开始搭建起来。记得当时Greenplum的6.0版本还没发布，我便搭建了一个5点几的版本，并用常规的JDBC等操作关系数据库的方式来使用Greenplum，不料发现数据写入很慢。网上百度发现不只是我一个人这么认为，试验了一些网上的方法也无济于事。没过几天，在Github上搜索GPDB相关内容时，发现Greenplum发布了6.0版本，同时也查到了Greenplum中文社区（greenplum.cn)里的一篇相关文章，文章中提到Greenplum 6.0在OLTP上有很大提升，推掉5的环境，当天就将Greenplum改为了6.0的，继续用JDBC来insert数据，发现还是很慢，一开始怀疑自己的测试程序有问题，于是先后几次用Greenplum自己的驱动包、kettle的API、datax工具等几种方式测试，结果仍然没有太大变化。无奈只好继续在网上搜索，后来搜到阿里有篇文章对Greenplum的数据写入问题有过总结，印象比较深的是insert语句用批量values方式、用copy方式写入等。

感觉没过去几天，在Greenplum技术群里听说Greenplum又出新版本了，便想着下周再试试。谁知等我再次准备升级环境测试时，Github上最新的已经是6.2.1版本