PostgreSQL数据库如何快速插入大量数据_postgresql 大批量插入(3)

drop table if exists T_JDBC_SQL_RECORD ;
--无主键，没有用到C_BH 查询，增加insert速度先去掉
create table T_JDBC_SQL_RECORD (
C_BH VARCHAR(32) ,
C_BH_PARSE VARCHAR(32) NULL,
C_BH_GROUP VARCHAR(32) NULL,
C_BH_SQL VARCHAR(32) NULL,
DT_ZXSJ TIMESTAMP NULL,
N_RUNTIME INT NULL,
C_RZLJ VARCHAR(600) NULL,
N_STARTLINE INT NULL,
N_ENDLINE INT NULL,
N_SQLTYPE INT NULL,
N_SQLCOMPLEX INT NULL,
C_IP VARCHAR(100) NULL,
C_PORT VARCHAR(100) NULL,
C_XTBS VARCHAR(100) NULL,
N_CHECKSTATUS INT  default 0,
N_SQL_LENGTH INT NULL,
N_SQL_BYTE INT NULL,
N_5MIN INT NULL,
C_METHOD VARCHAR(600) NULL,
C_PSSQL_HASH VARCHAR(300) NULL,
N_IS_BATCH INT,
N_RESULTSET INT
);

drop table if exists T_JDBC_SQL_CONTENT ;
CREATE TABLE T_JDBC_SQL_CONTENT (
C_BH VARCHAR(32) NOT NULL,
C_PSSQL_HASH VARCHAR(300) NULL,
C_SQL_TEXT varchar NULL,
C_PSSQL_TEXT varchar NULL
);

• 索引语句

create index i_jdbc_sql_record_zh01 on t_jdbc_sql_record(c_bh_group,dt_zxsj,N_CHECKSTATUS,C_PSSQL_HASH);
create index i_jdbc_sql_record_pshash on t_jdbc_sql_record(c_pssql_hash);
create index i_jdbc_sql_content_pshash on t_jdbc_sql_content(c_pssql_hash);
alter table t_jdbc_sql_content add constraint t_jdbc_sql_content_pkey primary key (C_BH);

• 异步提交和unlogged table

 -- 异步提交,更改完重启数据库
 alter system set synchronous_commit to off;
 -- unlogged table 
 create unlogged table t_jdbc_sql_record 
 ...
 create unlogged table t_jdbc_sql_content 
 ...

• JDBC日志量
  19个JDBC日志文件，共2G日志，600万记录

方案设定

方案名称	方案描述
方案一	建立结构化表及其索引，多线程单个insert装入数据
方案二	建立结构化表及其索引，多线程批量insert装入数据
方案三	建立结构化表及其索引，库设置为异步提交，多线程批量insert装入数据
方案四	建立结构化表，库设置为异步提交，多线程批量insert装入数据，建立索引
方案五	建立结构化表及其索引，表设置为unlogged table,多线程批量insert装入数据
方案六	建立结构化表，表设置为unlogged table，多线程批量insert装入数据，建立索引
方案七	建立结构化表，多线程批量insert装入数据,建立索引

实验结果

每次实验时，解析的JDBC日志量，解析代码和中间件环境保持不变。只调整流程顺序和数据库参数。

实验次数	方案一	方案二	方案三	方案四	方案五	方案六	方案七
第一次	3596s	2043s	1164s	779s	545s	528s	1192s
第二次	4092s	2068s	1283s	843s	528s	528s	1227s
第三次	3891s	2177s	1378s	858s	536s	537s	1248s
平均值	3859s	2096s	1275s	826s	536s	531s	1222s

##结果分析

• 方案一、方案二比较，数据库参数不变，流程顺序不变

  • 方案一：单个insert提交，用时3859秒
  • 方案二：批量insert提交，用时2096秒

• 方案二、方案三、方案五比较，流程顺序不变，均为建表->建索引->多线程批量插入。

  • 方案二：同步提交(等待WAL日志完成)，用时2096秒
  • 方案三：异步提交(不等待WAL日志完成),用时1275秒
  • 方案五：不记录WAL日志，用时536秒

• 方案二、方案七比较,均为同步提交

  • 方案二：插入数据前建立索引,用时2096秒
  • 方案七：插入数据后建立索引,用时1222秒

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

需要这份系统化资料的朋友，可以戳这里获取