pg批量插入_postgresql大批量数据导入方法

一直没有好好关注这个功能，昨天看了一下，数据库插入有瓶颈，今天研究了一下：

主要有以下方案：

1.使用copy从文件导入：

copy table_001(a, b, "f", d, c, "e") from 'd:/data1.txt' (delimiter ',');

速度极快：

不带索引：

查询成功: 共计 69971 行受到影响，耗时: 4351 毫秒(ms)。

查询成功: 共计 69971 行受到影响，耗时: 4971 毫秒(ms)。

带索引：

查询成功: 共计 69971 行受到影响，耗时: 15582 毫秒(ms)。

查询成功: 共计 69971 行受到影响，耗时: 12833 毫秒(ms)。

需要做的就是定时生成临时数据文件，并不断的切换，清除。

2. 使用multi-insert格式的sql

类似： insert into test values('asd', 'adewf', 12),('asd2', 'adewf2', 12);

目前采用此方案，改动不大，只是修改了一下 sql 的格式，目前满足要求(大约25万条记录每分钟，合4200每秒)，所以暂时采用它。

3. 关闭自动提交，使用insert或者multi-insert格式sql，插入大量数据

目前未测试，不过此方案效果具网上介绍应该也不错的。

4. 采用临时表

这个方案备选，临时表为了加快速度，应该不加任何索引与日志，数据稳定后再加索引与限制，压缩数据，进行vacuum 等数据优化，这需要与分表结合使用比较好。

5. 调整数据库参数，这个是提高数据库整体性能的

网上介绍这几个优化参数：shared_buffers、work_mem、effective_cache_size、maintence_work_mem

这些可以配置起来使用，详细请参考 postgresql-9.2-A4.pdf  中的 Chapter 14. Performance Tips。

One might need to insert a large amount of data when first populating a database. This section contains

some suggestions on how to make this process as efficient as possible.

14.4.1. Disable Autocommit

When using multiple INSERTs, turn off autocommit and just do one commit at the end. (In plain

SQL, this means issuing BEGIN at the s