Greenplum6 JDBC insert 性能百倍提升 *之踩坑之路

最新推荐文章于 2022-01-14 10:56:02 发布
最新推荐文章于 2022-01-14 10:56:02 发布
阅读量2.8k 收藏 3
点赞数
分类专栏： 开发工具 文章标签： 数据库 java centos 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30540299/article/details/105792043
版权

Greenplum6 JDBC insert 性能百倍提升 之踩坑之路

状态描述：大多数人在使用jdbc的方式时会发现，jdbc的写入方式远达不到官方给出的测试性能，Greenplum6对比Greenplum5提升了很多性能，特别是对OLTP 做了大量优化，一下是官方社区的测试报告
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
但是发现自己搭建的环境速度远远慢于应有的效率（30 条/秒）

机器性能：
在这里插入图片描述
节点版本：
greenplum-db-6.7.0 (商业测试版，非社区版)

测试系统：
centos 7.6

测试表：
日分区表
字段100个

测试报告：

顺序结果
第一次调整后测试速度30 条/秒
第二次调整后测试速度100 条/秒

这就郁闷了，BUT，兄弟不要慌，也有人遇到问题说用gpkafka等方式，到时本人喜欢用JDBC，喜欢钻牛角尖，下面我们就开始踏上踩坑之路

大致原因有如下三点：
A、网络问题
B、机器配置问题
C、客户端及代码问题

网络问题：（排除）
建议大家在搭建完greenplum集群后做矩阵测试，此处不累赘，附官方网页及方法
https://gpdb.docs.pivotal.io/6-7/utility_guide/ref/gpcheckperf.html

gpcheckperf -f hostlist -d /data0/gpdata/test -d /data1/gpdata/test -r dsM -D -v

机器配置问题：（有效果，但是提升不明显）
附两篇文章参考
https://segmentfault.com/a/1190000022131758

https://segmentfault.com/a/1190000022113014

客户端及代码问题：（排除法）
1、将表字段减少
2、取消表的索引、字段约束、取消分区表（建立普通表）
3、将批量SQL语句 放Navicat Premium或者其它客户端直接运行

1、2可作为优化思路

3发现Navicat Premium的运行速度和java的不在一个数量级；
Navicat Premium 批量写入（2000条/秒）

经过进一步排查发现：不使用spring 的sql参数预处理模式，直接将sql组装然后运行，得出得结果和Navicat Premium一致

本文到次结束，有不对之处还请各位大神指正，后续将根据以上经验结果做继续优化优化

恋奴娇
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Greenplum6 JDBC insert性能媲美MySQL
Greenplum中文社区
03-24 1884
近些年，大数据技术在IT界里已经是必提的话题了，朋友圈里经常看到一些同事们、项目合作公司朋友们转发的大数据相关文章。最近工作中也在做一款与数据相关的产品，不幸的是，真正遇到数据量大的时候，发现常用的MySQL等数据库真是顶不住。百度一下，当前流行的Greenplum数据库映入眼帘。仔细一查，发现Greenplum还是个开源数据库，再去各大招聘网站和APP查看了一下，招聘Greenplum相关人才...
Greenplum的JDBC驱动包
06-12
Greenplum的JDBC驱动包，用于使用Java程序连接Greenplum数据库。
datax写入greenplum，master节点日志爆炸
ynzzxc的博客
12-29 1010
原因：greenplum有insert和copy两种写入方式，datax是insert方式写入，所有数据都会走master，而greenplum默认master所有操作记日志。 解决方法：修改master节点postgresql.conf的log_statement值，示例 vim /gpdb/opt/data/master/gpseg-1/postgresql.conf log_statement = 'none' gpstop -u insert方式写入非常慢，master压力大。 ...
Greenplum 性能优化之路 --（二）存储格式
cloudbigdata的博客
09-29 2544
一、存储格式介绍 Greenplum（以下简称 GP）有2种存储格式，Heap 表和 AO 表（AORO 表，AOCO 表）。 Heap 表：这种存储格式是从 PostgreSQL 继承而来的，目前是 GP 默认的表存储格式，只支持行存储。 AO 表： AO 表最初设计是只支持 append 的（就是只能 insert ），因此全称是Append-Only，在4.3之后进行了优化，目前已经可以 update 和 delete 了，全称也改为 Append-Optimized。AO ..
JDBC单例模式-insert海量数据时的效率优化
小小鱼
03-11 313
文章目录一、配置文件1、装载驱动，创建SQL链接2、BaseDao类3、插入数据，并优化速度 一、配置文件 1、装载驱动，创建SQL链接 配置类构造器私有，不允许外界调用创建多个对象，仅能在调用其中的public静态方法时创建一个对象 import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; public class DBUtils { private DBUtils(){}
jdbc 批量插入greenplum测试
Steven
01-14 1019
一次一次的插入 十万条数据 总耗时316543毫秒 try { Class.forName("org.postgresql.Driver"); connection = DriverManager.getConnection(url, user, passWord); ps = connection.prepareStatement(insertSql); long oddTime = System.curr
Greenplum Database JDBC Driver：greenplum.jar
10-17
使用jdbc连接greenplum database所需要的依赖jar包。
greenplum数据库jdbc驱动下载
11-04
"greenplum-jdbc-5.1.4.jar"是Greenplum数据库的JDBC驱动程序的一个版本，用于在Java环境中与Greenplum进行通信。 **Greenplum数据库** Greenplum是由Pivotal Software开发的一个高度可扩展的、并行处理的数据库...
greenplum_jdbc_5.1.4.zip
12-21
总结，Greenplum JDBC驱动5.1.4是Java开发者与Greenplum数据库交互的重要工具，其强大的功能和良好的性能使得Java应用能够充分利用Greenplum的分布式处理优势，处理大规模的数据。理解并熟练使用这个驱动，将极大地...
Greenplum官方驱动JDBC版本5.1.4.jar
05-09
Greenplum官方驱动JDBC版本5.1.4 官方驱动，相比PG驱动肯定要好用点。 驱动类：com.pivotal.jdbc.GreenplumDriver 驱动URL头：jdbc:pivotal:greenplum:
Greenplum jdbc驱动
01-05
此版本为官网5.1.4版本，java jdbc连接方式跟普通数据库一样，也可加载到spring里面，具体使用方法请自搜
greenplum-jdbc-5.1.4.jar
11-07
package com; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; public class TestJDBC {       private Connection con ;       private String user = "gpadmin" ;       private String password = "123456" ;       private String className = "com.pivotal.jdbc.GreenplumDriver" ;       private String url = "jdbc:pivotal:greenplum://172.20.4.161:5432;DatabaseName=testDB" ;          public static void main(String[] args) {              // TODO Auto-generated method stub             TestJDBC c = new TestJDBC();              c.Connect();              c.getCon();              c.closed();      }       public void Connect() {              try {                    Class. forName(className);                    System. out.println("加载数据库驱动成功！" );             } catch (ClassNotFoundException e ) {                    System. out.println("加载数据库驱动失败！" );                     e.printStackTrace();             }      }       /** 创建数据库连接 */       public Connection getCon() {              try {                     con = DriverManager. getConnection(url, user, password);                    System. out.println("创建数据库连接成功！" );             } catch (SQLException e ) {                    System. out.print(con );                    System. out.println("创建数据库连接失败！" );                     con = null;                     e.printStackTrace();             }              return con ;      }       public void closed() {              try {                     if (con != null) {                           con.close();                    }             } catch (SQLException e ) {                    System. out.println("关闭con对象失败！" );                     e.printStackTrace();             }      }   }  
GreenPlum的JDBC连接.zip
01-07
GreenPlum的JDBC连接.zip
greenplum-jdbc-5.1.4.000212.jar
05-15
此版本为官网 Greenplum 的5.18.0版本对应的驱动包 5.1.4.000212版本，java jdbc连接方式跟普通数据库一样，也可添加到到spring项目里面，具体操作类似MySQL数据库连接操作。
greenplum-jdbc-5.1.4.000223.jar
09-10
Greenplum是一个面向数据仓库应用的关系型数据库,它基于流行的PostgreSQL开发,因为有良好的体系结构,所以在数据存储,高并发,高可用,线性扩展,反应速度,易用性和性价比等方面有非常明显的优势,非常受欢迎.进入大数据时代以后,Greenplum的性能在TB级别数据量的表现上非常优秀,单机性能相比Hadoop要快上好几倍;在功能和语法上,要比Hadoop上的SQL引擎Hive好用很多,普通用户更加容易上手。2019-9-10更新最新连接Greenplum驱动，建议使用官方驱动，postgresql驱动连接存在连接查询慢的现象。
【Greenplum】insert数据入库速度优化
BIG BOSS的博客
07-29 5209
使用geotools入库很慢，1万条数据147秒。 换成Jdbc直接运行insert语句，1万条118秒。 速度非常慢，而且更换Driver速度差不多一模一样。 private String diverClassName="org.postgresql.Driver";//推荐使用 private String diverClassName="com.pivotal.jdbc.GreenplumDriver"; 优化 greenplum的master端口需要改成5432，不然gpconfig用不
java 连接 greenplum_GreenPlum的JDBC连接
weixin_32605973的博客
02-28 705
该楼层疑似违规已被系统折叠隐藏此楼查看此楼首先，需要去greenplum的官方网站下载最新的JDBC驱动包，地址：http://jdbc.postgresql.org/download.html我的下是这个postgresql-9.2-1003.jdbc4.jar然后在Eclipse中引入这个驱动包，新建一个测试类，如下：import java.sql.*;public class GreenP...
greenplum.jar 官方驱动 JDBC
11-16
import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class Greenplum { public static void main(String args[]) throws Exception{ Class.forName("com.pivotal.jdbc.GreenplumDriver"); Connection db = DriverManager.getConnection("jdbc:pivotal:greenplum://192.168.139.128:5432;DatabaseName=postgres", "gpadmin", "gpadmin"); Statement st = db.createStatement(); ResultSet rs = st.executeQuery("SELECT * FROM test01 limit 100"); while (rs.next()) { System.out.println(rs.getString(1)); } rs.close(); st.close(); } }
greenplum.jar 官方JDBC驱动
11-09
import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class Greenplum { public static void main(String args[]) throws Exception{ Class.forName("com.pivotal.jdbc.GreenplumDriver"); Connection db = DriverManager.getConnection("jdbc:pivotal:greenplum://192.168.139.128:5432;DatabaseName=postgres", "gpadmin", "gpadmin"); Statement st = db.createStatement(); ResultSet rs = st.executeQuery("SELECT * FROM test01 limit 100"); while (rs.next()) { System.out.println(rs.getString(1)); } rs.close(); st.close(); } }
绿色之路：Greenplum选择与优化详解
4. **高性能扩展**：性能随着增加的Segment数量线性提升，这在处理大量并发查询时尤为重要。 5. **数据加载和导出**：支持并行加载和输出，提高数据处理效率。 6. **内置MapReduce支持**：In-DBMapReduce特性允许在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

恋奴娇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值