使用PostgreSql的Copy功能来大批量导入增量数据的步骤

使用PostgreSql的Copy功能来导入增量数据的步骤
https://www.cnblogs.com/wjx-blog/p/13154222.html

一、参照原数据表创建临时表
CREATE TEMP TABLE temp_testbulkcopy ON COMMIT DROP as (select * from testbulkcopy limit 0);
1、temp_testbulkcopy 为临时表的表名

2、testbulkcopy 为实际数据表的表名

3、ON COMMIT DROP 表示用完这次就自动删掉

二、把数据通过Copy的方式导入到临时表里

COPY temp_testbulkcopy FROM ‘C:\data\testOutPut.csv’ WITH csv header DELIMITER ‘|’ encoding ‘UTF8’;

三、根据主键删除实际表与临时重复的数据(有重复证明就有更新)

delete FROM testbulkcopy where “ID” in (select “ID” from temp_testbulkcopy);

四、把临时表的数据插入到实际表中

INSERT INTO testbulkcopy select * from temp_testbulkcopy;

附录：

1、用来演示的表的建表语句：

复制代码
CREATE TABLE public.testbulkcopy
(
“ID” character varying(38) COLLATE pg_catalog.“default” NOT NULL,
“NAME” character varying(255) COLLATE pg_catalog.“default”,
“CITY” character varying(255) COLLATE pg_catalog.“default”
)
复制代码
2、测试数据

复制代码
ID|NAME|CITY
bedf812f-2311-4717-a749-8b1272fc3c86|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c87|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c88|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c89|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c81|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c82|张三|北京
bedf812f-2311-4717-a749-8b1272fc3c83|张三|北京
复制代码