batch insert in PostgreSQL

最新推荐文章于 2024-09-22 07:20:42 发布
最新推荐文章于 2024-09-22 07:20:42 发布
阅读量3.9k 收藏
点赞数
分类专栏： PostgreSQL 文章标签： insert postgresql loops triggers output table

今天在互联网上看到有人发表了这样的感慨，其中“INSERT INTO my_table SELECT 1, 'a' UNION SELECT 2, 'b' UNION SELECT 3, 'c' UNION ...
”这句可能是笔误，应该改成"INSERT INTO my_table SELECT 1, 'a' UNION ALL SELECT 2, 'b' UNION ALL SELECT 3, 'c' UNION ALL...
"其他的都蛮对的。

You can use the INSERT INTO tbl <query> syntax to accelerate the speed of inserts by batching them together. For example...
INSERT INTO my_table SELECT 1, 'a' UNION SELECT 2, 'b' UNION SELECT 3, 'c' UNION ...
If you batch up many sets of values per INSERT statement and batch up multiple INSERT statements per transaction, you can achieve significantly faster insertion performance. I managed to achieve almost 8x faster inserts on a PostgreSQL 8.1 / Win2K installation by batching up 100 (small) using this technique.
If anyone knows a faster/more elegant way to construct the row set than using SELECT..UNION then please let me know!

下面来用例子分析一下:

首先要介绍几个PostgreSQL的系统列(就不翻译了,还是原味比较好):

tableoid
The OID of the table containing this row. This column is particularly handy for queries that select from inheritance hierarchies, since without it, it's difficult to tell which individual table a row came from. The tableoid can be joined against the oid column of pg_class to obtain the table name.
xmin
The identity (transaction ID) of the inserting transaction for this row version. (A row version is an individual state of a row; each update of a row creates a new row version for the same logical row.)
cmin
The command identifier (starting at zero) within the inserting transaction.
xmax
The identity (transaction ID) of the deleting transaction, or zero for an undeleted row version. It is possible for this column to be nonzero in a visible row version. That usually indicates that the deleting transaction hasn't committed yet, or that an attempted deletion was rolled back.
cmax
The command identifier within the deleting transaction, or zero.
ctid
The physical location of the row version within its table. Note that although the ctid can be used to locate the row version very quickly, a row's ctid will change if it is updated or moved by VACUUM FULL. Therefore ctid is useless as a long-term row identifier. The OID, or even better a user-defined serial number, should be used to identify logical rows.

例一:

test=> /d tbl_test
    Table "test.tbl_test"
 Column |  Type  | Modifiers
--------+--------+-----------
 id     | bigint | not null
Indexes:
    "tbl_test_pkey" PRIMARY KEY, btree (id)

test=> insert into tbl_Test (id) values (1),(2),(3),(4);
INSERT 0 4
test=> select ctid,cmin,cmax,xmin,xmax,* from tbl_test;
 ctid  | cmin | cmax | xmin | xmax | id
-------+------+------+------+------+----
 (0,1) |    0 |    0 |  668 |    0 |  1
 (0,2) |    0 |    0 |  668 |    0 |  2
 (0,3) |    0 |    0 |  668 |    0 |  3
 (0,4) |    0 |    0 |  668 |    0 |  4
(4 rows)

从结果上看四条记录都是同一个事务,同一个CMIN，CMAX值。

例二：

test=> begin;
BEGIN
test=> insert into tbl_Test (id) values (5);
INSERT 0 1
test=> insert into tbl_Test (id) values (6);
INSERT 0 1
test=> insert into tbl_Test (id) values (7);
INSERT 0 1
test=> insert into tbl_Test (id) values (8);
INSERT 0 1
test=> commit;
COMMIT
test=> select ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 ctid  | cmin | cmax | xmin | xmax | id
-------+------+------+------+------+----
 (0,1) |    0 |    0 |  668 |    0 |  1
 (0,2) |    0 |    0 |  668 |    0 |  2
 (0,3) |    0 |    0 |  668 |    0 |  3
 (0,4) |    0 |    0 |  668 |    0 |  4
 (0,5) |    0 |    0 |  669 |    0 |  5
 (0,6) |    1 |    1 |  669 |    0 |  6
 (0,7) |    2 |    2 |  669 |    0 |  7
 (0,8) |    3 |    3 |  669 |    0 |  8
(8 rows)

从结果上看四条记录都是同一个事务,但是每一次插入操作占用了一个CMIN，CMAX值。

例三：

test=> insert into tbl_Test (id) select 9 union all select 10 union all select 11 union all select 12;
INSERT 0 4
test=> select ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
  ctid  | cmin | cmax | xmin | xmax | id
--------+------+------+------+------+----
 (0,1)  |    0 |    0 |  668 |    0 |  1
 (0,2)  |    0 |    0 |  668 |    0 |  2
 (0,3)  |    0 |    0 |  668 |    0 |  3
 (0,4)  |    0 |    0 |  668 |    0 |  4
 (0,5)  |    0 |    0 |  669 |    0 |  5
 (0,6)  |    1 |    1 |  669 |    0 |  6
 (0,7)  |    2 |    2 |  669 |    0 |  7
 (0,8)  |    3 |    3 |  669 |    0 |  8
 (0,9)  |    0 |    0 |  670 |    0 |  9
 (0,10) |    0 |    0 |  670 |    0 | 10
 (0,11) |    0 |    0 |  670 |    0 | 11
 (0,12) |    0 |    0 |  670 |    0 | 12
(12 rows)

从结果上看四条记录都是同一个事务,同一个CMIN，CMAX值。

例四：

test=> insert into tbl_test (id) select generate_series(13,16);
INSERT 0 4
test=> select ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
  ctid  | cmin | cmax | xmin | xmax | id
--------+------+------+------+------+----
 (0,1)  |    0 |    0 |  668 |    0 |  1
 (0,2)  |    0 |    0 |  668 |    0 |  2
 (0,3)  |    0 |    0 |  668 |    0 |  3
 (0,4)  |    0 |    0 |  668 |    0 |  4
 (0,5)  |    0 |    0 |  669 |    0 |  5
 (0,6)  |    1 |    1 |  669 |    0 |  6
 (0,7)  |    2 |    2 |  669 |    0 |  7
 (0,8)  |    3 |    3 |  669 |    0 |  8
 (0,9)  |    0 |    0 |  670 |    0 |  9
 (0,10) |    0 |    0 |  670 |    0 | 10
 (0,11) |    0 |    0 |  670 |    0 | 11
 (0,12) |    0 |    0 |  670 |    0 | 12
 (0,13) |    0 |    0 |  671 |    0 | 13
 (0,14) |    0 |    0 |  671 |    0 | 14
 (0,15) |    0 |    0 |  671 |    0 | 15
 (0,16) |    0 |    0 |  671 |    0 | 16
(16 rows)

从结果上看四条记录都是同一个事务,同一个CMIN，CMAX值。

例五：

test=> prepare t_test(int8) as insert into tbl_test (id) values ($1);
PREPARE

test=> begin;execute t_test(17);
BEGIN
INSERT 0 1
test=> execute t_test(18);
INSERT 0 1
test=> execute t_test(19);
INSERT 0 1
test=> execute t_test(20);
INSERT 0 1
test=> commit;
COMMIT
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
(20 rows)

从结果上看四条记录都是同一个事务,但是每一次插入操作占用了一个CMIN，CMAX值。

例六：

test=> prepare t_test1(int8,int8,int8,int8) as insert into tbl_test (id) values ($1),($2),($3),($4);
PREPARE

test=> begin;
BEGIN
test=> execute t_test1(21,22,23,24);
INSERT 0 4
test=> commit;
COMMIT
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
    16388 | (0,21) |    0 |    0 |  673 |    0 | 21
    16388 | (0,22) |    0 |    0 |  673 |    0 | 22
    16388 | (0,23) |    0 |    0 |  673 |    0 | 23
    16388 | (0,24) |    0 |    0 |  673 |    0 | 24
(24 rows)

从结果上看四条记录都是同一个事务,同一个CMIN，CMAX值。

例七：

test=> begin;
BEGIN
test=> insert into tbl_Test (id) values (25);
INSERT 0 1
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
    16388 | (0,21) |    0 |    0 |  673 |    0 | 21
    16388 | (0,22) |    0 |    0 |  673 |    0 | 22
    16388 | (0,23) |    0 |    0 |  673 |    0 | 23
    16388 | (0,24) |    0 |    0 |  673 |    0 | 24
    16388 | (0,27) |    0 |    0 |  675 |    0 | 25
(25 rows)

test=> insert into tbl_Test (id) values (26);
INSERT 0 1
test=> savepoint one;
SAVEPOINT
test=> insert into tbl_Test (id) values (27);
INSERT 0 1
test=> insert into tbl_Test (id) values (28);
INSERT 0 1
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
    16388 | (0,21) |    0 |    0 |  673 |    0 | 21
    16388 | (0,22) |    0 |    0 |  673 |    0 | 22
    16388 | (0,23) |    0 |    0 |  673 |    0 | 23
    16388 | (0,24) |    0 |    0 |  673 |    0 | 24
    16388 | (0,27) |    0 |    0 |  675 |    0 | 25
    16388 | (0,28) |    1 |    1 |  675 |    0 | 26
    16388 | (0,29) |    2 |    2 |  676 |    0 | 27
    16388 | (0,30) |    3 |    3 |  676 |    0 | 28
(28 rows)

test=> rollback to one;
ROLLBACK
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
    16388 | (0,21) |    0 |    0 |  673 |    0 | 21
    16388 | (0,22) |    0 |    0 |  673 |    0 | 22
    16388 | (0,23) |    0 |    0 |  673 |    0 | 23
    16388 | (0,24) |    0 |    0 |  673 |    0 | 24
    16388 | (0,27) |    0 |    0 |  675 |    0 | 25
    16388 | (0,28) |    1 |    1 |  675 |    0 | 26
(26 rows)

test=> insert into tbl_Test (id) values (27);
INSERT 0 1
test=> insert into tbl_Test (id) values (28);
INSERT 0 1
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
    16388 | (0,21) |    0 |    0 |  673 |    0 | 21
    16388 | (0,22) |    0 |    0 |  673 |    0 | 22
    16388 | (0,23) |    0 |    0 |  673 |    0 | 23
    16388 | (0,24) |    0 |    0 |  673 |    0 | 24
    16388 | (0,27) |    0 |    0 |  675 |    0 | 25
    16388 | (0,28) |    1 |    1 |  675 |    0 | 26
    16388 | (0,31) |    4 |    4 |  677 |    0 | 27
    16388 | (0,32) |    5 |    5 |  677 |    0 | 28
(28 rows)

test=> commit;
COMMIT

从结果上看每一个SAVEPOINT会产生一个新的事物号，但是CMIN , CMAX值是连续的，不会在新事物重置。回滚到SAVEPOINT后，CMIN,CMAX值的产生和序列差不多，不能回滚，继续往前。

例八：

test=> begin;
BEGIN
test=> execute t_test1(41,42,43,44);
INSERT 0 4
test=> savepoint one;
SAVEPOINT
test=> execute t_test1(45,46,47,48);
INSERT 0 4
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
    16388 | (0,21) |    0 |    0 |  673 |    0 | 21
    16388 | (0,22) |    0 |    0 |  673 |    0 | 22
    16388 | (0,23) |    0 |    0 |  673 |    0 | 23
    16388 | (0,24) |    0 |    0 |  673 |    0 | 24
    16388 | (0,27) |    0 |    0 |  675 |    0 | 25
    16388 | (0,28) |    1 |    1 |  675 |    0 | 26
    16388 | (0,31) |    4 |    4 |  677 |    0 | 27
    16388 | (0,32) |    5 |    5 |  677 |    0 | 28
    16388 | (0,33) |    0 |    0 |  678 |    0 | 29
    16388 | (0,34) |    1 |    1 |  678 |    0 | 30
    16388 | (0,25) |    4 |    4 |  680 |    0 | 31
    16388 | (0,26) |    5 |    5 |  680 |    0 | 32
    16388 | (0,29) |    0 |    0 |  681 |    0 | 33
    16388 | (0,30) |    0 |    0 |  681 |    0 | 34
    16388 | (0,35) |    0 |    0 |  681 |    0 | 35
    16388 | (0,36) |    0 |    0 |  681 |    0 | 36
    16388 | (0,37) |    1 |    1 |  681 |    0 | 37
    16388 | (0,38) |    1 |    1 |  681 |    0 | 38
    16388 | (0,39) |    1 |    1 |  681 |    0 | 39
    16388 | (0,40) |    1 |    1 |  681 |    0 | 40
    16388 | (0,41) |    0 |    0 |  682 |    0 | 41
    16388 | (0,42) |    0 |    0 |  682 |    0 | 42
    16388 | (0,43) |    0 |    0 |  682 |    0 | 43
    16388 | (0,44) |    0 |    0 |  682 |    0 | 44
    16388 | (0,45) |    1 |    1 |  683 |    0 | 45
    16388 | (0,46) |    1 |    1 |  683 |    0 | 46
    16388 | (0,47) |    1 |    1 |  683 |    0 | 47
    16388 | (0,48) |    1 |    1 |  683 |    0 | 48
(48 rows)

test=> rollback to one;
ROLLBACK

在第二个SESSION执行:

test=> vacuum tbl_test;
VACUUM

回到第一个SESSION执行:
test=> commit;
COMMIT
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
    16388 | (0,21) |    0 |    0 |  673 |    0 | 21
    16388 | (0,22) |    0 |    0 |  673 |    0 | 22
    16388 | (0,23) |    0 |    0 |  673 |    0 | 23
    16388 | (0,24) |    0 |    0 |  673 |    0 | 24
    16388 | (0,27) |    0 |    0 |  675 |    0 | 25
    16388 | (0,28) |    1 |    1 |  675 |    0 | 26
    16388 | (0,31) |    4 |    4 |  677 |    0 | 27
    16388 | (0,32) |    5 |    5 |  677 |    0 | 28
    16388 | (0,33) |    0 |    0 |  678 |    0 | 29
    16388 | (0,34) |    1 |    1 |  678 |    0 | 30
    16388 | (0,25) |    4 |    4 |  680 |    0 | 31
    16388 | (0,26) |    5 |    5 |  680 |    0 | 32
    16388 | (0,29) |    0 |    0 |  681 |    0 | 33
    16388 | (0,30) |    0 |    0 |  681 |    0 | 34
    16388 | (0,35) |    0 |    0 |  681 |    0 | 35
    16388 | (0,36) |    0 |    0 |  681 |    0 | 36
    16388 | (0,37) |    1 |    1 |  681 |    0 | 37
    16388 | (0,38) |    1 |    1 |  681 |    0 | 38
    16388 | (0,39) |    1 |    1 |  681 |    0 | 39
    16388 | (0,40) |    1 |    1 |  681 |    0 | 40
    16388 | (0,41) |    0 |    0 |  682 |    0 | 41
    16388 | (0,42) |    0 |    0 |  682 |    0 | 42
    16388 | (0,43) |    0 |    0 |  682 |    0 | 43
    16388 | (0,44) |    0 |    0 |  682 |    0 | 44
(44 rows)

从结果上看，只要是CMIN,CMAX值一样的都被回滚掉了.VACUUM并不会影响一个事务中的CMIN CMAX值。

例九：

test=> begin;
BEGIN
test=> insert into tbl_Test (id) values (29);
INSERT 0 1
test=> insert into tbl_Test (id) values (30);
INSERT 0 1
test=> savepoint one;
SAVEPOINT
test=> insert into tbl_Test (id) values (31);
INSERT 0 1
test=> insert into tbl_Test (id) values (32);
INSERT 0 1
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
    16388 | (0,21) |    0 |    0 |  673 |    0 | 21
    16388 | (0,22) |    0 |    0 |  673 |    0 | 22
    16388 | (0,23) |    0 |    0 |  673 |    0 | 23
    16388 | (0,24) |    0 |    0 |  673 |    0 | 24
    16388 | (0,27) |    0 |    0 |  675 |    0 | 25
    16388 | (0,28) |    1 |    1 |  675 |    0 | 26
    16388 | (0,31) |    4 |    4 |  677 |    0 | 27
    16388 | (0,32) |    5 |    5 |  677 |    0 | 28
    16388 | (0,33) |    0 |    0 |  678 |    0 | 29
    16388 | (0,34) |    1 |    1 |  678 |    0 | 30
    16388 | (0,35) |    2 |    2 |  679 |    0 | 31
    16388 | (0,36) |    3 |    3 |  679 |    0 | 32
(32 rows)

test=> rollback to one;
ROLLBACK

打开第二个SESSION执行：

test=> vacuum tbl_test;
VACUUM

回到第一个SESSION执行：
test=> insert into tbl_Test (id) values (31);
INSERT 0 1
test=> insert into tbl_Test (id) values (32);
INSERT 0 1
test=> select tableoid,ctid,cmin,cmax,xmin,xmax,* from tbl_test order by id;
 tableoid |  ctid  | cmin | cmax | xmin | xmax | id
----------+--------+------+------+------+------+----
    16388 | (0,1)  |    0 |    0 |  668 |    0 |  1
    16388 | (0,2)  |    0 |    0 |  668 |    0 |  2
    16388 | (0,3)  |    0 |    0 |  668 |    0 |  3
    16388 | (0,4)  |    0 |    0 |  668 |    0 |  4
    16388 | (0,5)  |    0 |    0 |  669 |    0 |  5
    16388 | (0,6)  |    1 |    1 |  669 |    0 |  6
    16388 | (0,7)  |    2 |    2 |  669 |    0 |  7
    16388 | (0,8)  |    3 |    3 |  669 |    0 |  8
    16388 | (0,9)  |    0 |    0 |  670 |    0 |  9
    16388 | (0,10) |    0 |    0 |  670 |    0 | 10
    16388 | (0,11) |    0 |    0 |  670 |    0 | 11
    16388 | (0,12) |    0 |    0 |  670 |    0 | 12
    16388 | (0,13) |    0 |    0 |  671 |    0 | 13
    16388 | (0,14) |    0 |    0 |  671 |    0 | 14
    16388 | (0,15) |    0 |    0 |  671 |    0 | 15
    16388 | (0,16) |    0 |    0 |  671 |    0 | 16
    16388 | (0,17) |    0 |    0 |  672 |    0 | 17
    16388 | (0,18) |    1 |    1 |  672 |    0 | 18
    16388 | (0,19) |    2 |    2 |  672 |    0 | 19
    16388 | (0,20) |    3 |    3 |  672 |    0 | 20
    16388 | (0,21) |    0 |    0 |  673 |    0 | 21
    16388 | (0,22) |    0 |    0 |  673 |    0 | 22
    16388 | (0,23) |    0 |    0 |  673 |    0 | 23
    16388 | (0,24) |    0 |    0 |  673 |    0 | 24
    16388 | (0,27) |    0 |    0 |  675 |    0 | 25
    16388 | (0,28) |    1 |    1 |  675 |    0 | 26
    16388 | (0,31) |    4 |    4 |  677 |    0 | 27
    16388 | (0,32) |    5 |    5 |  677 |    0 | 28
    16388 | (0,33) |    0 |    0 |  678 |    0 | 29
    16388 | (0,34) |    1 |    1 |  678 |    0 | 30
    16388 | (0,25) |    4 |    4 |  680 |    0 | 31
    16388 | (0,26) |    5 |    5 |  680 |    0 | 32
(32 rows)

test=> commit;

从结果上看，只要是CMIN,CMAX值一样的都被回滚掉了.VACUUM并不会影响一个事务中的CMIN CMAX值,VACUUM只是更新了FSM信息,所以VACUUM后插入的记录CTID使用25，26的PAGE位置存储。

总结：

BATCH模式可以通过如下手段实施:

insert into tbl_test (id) values (v_1),(v_2),(v_3),.....................(v_n);

insert into tbl_test (id) select v from other_table;

insert into tbl_test (id) select v_1 union all select v_2 union all select v_3 union all ..............;

prepare t_test1(int8,int8,int8,int8,...................) as insert into tbl_test (id) values ($1),($2),($3),($4),.........................;

execute t_test1(v_1,v_2,v_3,v_4,......................);

 

####################################

 

自PostgreSQL9.0.1之后,explain的功能更强大了。语法也有如下更新:

EXPLAIN [ ( { ANALYZE boolean

 | VERBOSE boolean

 | COSTS boolean

 | BUFFERS boolean

 | FORMAT { TEXT | XML | JSON | YAML } } [, ...] ) ] statement


EXPLAIN [ ANALYZE ] [ VERBOSE ] statement


下面继续上一篇batch insert in PostgreSQL的几个BATCH操作，看看执行计划分别是什么样的:


test=> begin;explain (analyze,verbose true,costs true,buffers true,format json) execute t_test1(53,54,55,56);rollback;

BEGIN

                  QUERY PLAN                   

-----------------------------------------------

 [                                            +

   {                                          +

     "Plan": {                                +

       "Node Type": "ModifyTable",            +

       "Operation": "Insert",                 +

       "Startup Cost": 0.00,                  +

       "Total Cost": 0.05,                    +

       "Plan Rows": 4,                        +

       "Plan Width": 8,                       +

       "Actual Startup Time": 0.049,          +

       "Actual Total Time": 0.049,            +

       "Actual Rows": 0,                      +

       "Actual Loops": 1,                     +

       "Shared Hit Blocks": 12,               +

       "Shared Read Blocks": 0,               +

       "Shared Written Blocks": 0,            +

       "Local Hit Blocks": 0,                 +

       "Local Read Blocks": 0,                +

       "Local Written Blocks": 0,             +

       "Temp Read Blocks": 0,                 +

       "Temp Written Blocks": 0,              +

       "Plans": [                             +

         {                                    +

           "Node Type": "Values Scan",        +

           "Parent Relationship": "Member",   +

           "Alias": "*VALUES*",               +

           "Startup Cost": 0.00,              +

           "Total Cost": 0.05,                +

           "Plan Rows": 4,                    +

           "Plan Width": 8,                   +

           "Actual Startup Time": 0.002,      +

           "Actual Total Time": 0.004,        +

           "Actual Rows": 4,                  +

           "Actual Loops": 1,                 +

           "Output": ["/"*VALUES*/".column1"],+

           "Shared Hit Blocks": 0,            +

           "Shared Read Blocks": 0,           +

           "Shared Written Blocks": 0,        +

           "Local Hit Blocks": 0,             +

           "Local Read Blocks": 0,            +

           "Local Written Blocks": 0,         +

           "Temp Read Blocks": 0,             +

           "Temp Written Blocks": 0           +

         }                                    +

       ]                                      +

     },                                       +

     "Triggers": [                            +

     ],                                       +

     "Total Runtime": 0.085                   +

   }                                          +

 ]

(1 row)

ROLLBACK

test=> begin;explain (analyze,verbose true,costs true,buffers true,format json) insert into tbl_test (id) values (53),(54),(55),(56);rollback;

BEGIN

                  QUERY PLAN                   

-----------------------------------------------

 [                                            +

   {                                          +

     "Plan": {                                +

       "Node Type": "ModifyTable",            +

       "Operation": "Insert",                 +

       "Startup Cost": 0.00,                  +

       "Total Cost": 0.05,                    +

       "Plan Rows": 4,                        +

       "Plan Width": 8,                       +

       "Actual Startup Time": 0.048,          +

       "Actual Total Time": 0.048,            +

       "Actual Rows": 0,                      +

       "Actual Loops": 1,                     +

       "Shared Hit Blocks": 12,               +

       "Shared Read Blocks": 0,               +

       "Shared Written Blocks": 0,            +

       "Local Hit Blocks": 0,                 +

       "Local Read Blocks": 0,                +

       "Local Written Blocks": 0,             +

       "Temp Read Blocks": 0,                 +

       "Temp Written Blocks": 0,              +

       "Plans": [                             +

         {                                    +

           "Node Type": "Values Scan",        +

           "Parent Relationship": "Member",   +

           "Alias": "*VALUES*",               +

           "Startup Cost": 0.00,              +

           "Total Cost": 0.05,                +

           "Plan Rows": 4,                    +

           "Plan Width": 8,                   +

           "Actual Startup Time": 0.002,      +

           "Actual Total Time": 0.005,        +

           "Actual Rows": 4,                  +

           "Actual Loops": 1,                 +

           "Output": ["/"*VALUES*/".column1"],+

           "Shared Hit Blocks": 0,            +

           "Shared Read Blocks": 0,           +

           "Shared Written Blocks": 0,        +

           "Local Hit Blocks": 0,             +

           "Local Read Blocks": 0,            +

           "Local Written Blocks": 0,         +

           "Temp Read Blocks": 0,             +

           "Temp Written Blocks": 0           +

         }                                    +

       ]                                      +

     },                                       +

     "Triggers": [                            +

     ],                                       +

     "Total Runtime": 0.076                   +

   }                                          +

 ]

(1 row)

ROLLBACK




test=> begin;explain (analyze,verbose true,costs true,buffers true,format json) insert into tbl_test (id) select 53 union all select 54 union all select 55 union all select 56;rollback;

BEGIN

                     QUERY PLAN                     

----------------------------------------------------

 [                                                 +

   {                                               +

     "Plan": {                                     +

       "Node Type": "ModifyTable",                 +

       "Operation": "Insert",                      +

       "Startup Cost": 0.00,                       +

       "Total Cost": 0.09,                         +

       "Plan Rows": 4,                             +

       "Plan Width": 4,                            +

       "Actual Startup Time": 0.057,               +

       "Actual Total Time": 0.057,                 +

       "Actual Rows": 0,                           +

       "Actual Loops": 1,                          +

       "Shared Hit Blocks": 12,                    +

       "Shared Read Blocks": 0,                    +

       "Shared Written Blocks": 0,                 +

       "Local Hit Blocks": 0,                      +

       "Local Read Blocks": 0,                     +

       "Local Written Blocks": 0,                  +

       "Temp Read Blocks": 0,                      +

       "Temp Written Blocks": 0,                   +

       "Plans": [                                  +

         {                                         +

           "Node Type": "Result",                  +

           "Parent Relationship": "Member",        +

           "Startup Cost": 0.00,                   +

           "Total Cost": 0.09,                     +

           "Plan Rows": 4,                         +

           "Plan Width": 4,                        +

           "Actual Startup Time": 0.006,           +

           "Actual Total Time": 0.010,             +

           "Actual Rows": 4,                       +

           "Actual Loops": 1,                      +

           "Output": ["(53)"],                     +

           "Shared Hit Blocks": 0,                 +

           "Shared Read Blocks": 0,                +

           "Shared Written Blocks": 0,             +

           "Local Hit Blocks": 0,                  +

           "Local Read Blocks": 0,                 +

           "Local Written Blocks": 0,              +

           "Temp Read Blocks": 0,                  +

           "Temp Written Blocks": 0,               +

           "Plans": [                              +

             {                                     +

               "Node Type": "Append",              +

               "Parent Relationship": "Outer",     +

               "Startup Cost": 0.00,               +

               "Total Cost": 0.08,                 +

               "Plan Rows": 4,                     +

               "Plan Width": 4,                    +

               "Actual Startup Time": 0.002,       +

               "Actual Total Time": 0.005,         +

               "Actual Rows": 4,                   +

               "Actual Loops": 1,                  +

               "Shared Hit Blocks": 0,             +

               "Shared Read Blocks": 0,            +

               "Shared Written Blocks": 0,         +

               "Local Hit Blocks": 0,              +

               "Local Read Blocks": 0,             +

               "Local Written Blocks": 0,          +

               "Temp Read Blocks": 0,              +

               "Temp Written Blocks": 0,           +

               "Plans": [                          +

                 {                                 +

                   "Node Type": "Result",          +

                   "Parent Relationship": "Member",+

                   "Startup Cost": 0.00,           +

                   "Total Cost": 0.01,             +

                   "Plan Rows": 1,                 +

                   "Plan Width": 0,                +

                   "Actual Startup Time": 0.000,   +

                   "Actual Total Time": 0.000,     +

                   "Actual Rows": 1,               +

                   "Actual Loops": 1,              +

                   "Output": ["53"],               +

                   "Shared Hit Blocks": 0,         +

                   "Shared Read Blocks": 0,        +

                   "Shared Written Blocks": 0,     +

                   "Local Hit Blocks": 0,          +

                   "Local Read Blocks": 0,         +

                   "Local Written Blocks": 0,      +

                   "Temp Read Blocks": 0,          +

                   "Temp Written Blocks": 0        +

                 },                                +

                 {                                 +

                   "Node Type": "Result",          +

                   "Parent Relationship": "Member",+

                   "Startup Cost": 0.00,           +

                   "Total Cost": 0.01,             +

                   "Plan Rows": 1,                 +

                   "Plan Width": 0,                +

                   "Actual Startup Time": 0.001,   +

                   "Actual Total Time": 0.002,     +

                   "Actual Rows": 1,               +

                   "Actual Loops": 1,              +

                   "Output": ["54"],               +

                   "Shared Hit Blocks": 0,         +

                   "Shared Read Blocks": 0,        +

                   "Shared Written Blocks": 0,     +

                   "Local Hit Blocks": 0,          +

                   "Local Read Blocks": 0,         +

                   "Local Written Blocks": 0,      +

                   "Temp Read Blocks": 0,          +

                   "Temp Written Blocks": 0        +

                 },                                +

                 {                                 +

                   "Node Type": "Result",          +

                   "Parent Relationship": "Member",+

                   "Startup Cost": 0.00,           +

                   "Total Cost": 0.01,             +

                   "Plan Rows": 1,                 +

                   "Plan Width": 0,                +

                   "Actual Startup Time": 0.000,   +

                   "Actual Total Time": 0.000,     +

                   "Actual Rows": 1,               +

                   "Actual Loops": 1,              +

                   "Output": ["55"],               +

                   "Shared Hit Blocks": 0,         +

                   "Shared Read Blocks": 0,        +

                   "Shared Written Blocks": 0,     +

                   "Local Hit Blocks": 0,          +

                   "Local Read Blocks": 0,         +

                   "Local Written Blocks": 0,      +

                   "Temp Read Blocks": 0,          +

                   "Temp Written Blocks": 0        +

                 },                                +

                 {                                 +

                   "Node Type": "Result",          +

                   "Parent Relationship": "Member",+

                   "Startup Cost": 0.00,           +

                   "Total Cost": 0.01,             +

                   "Plan Rows": 1,                 +

                   "Plan Width": 0,                +

                   "Actual Startup Time": 0.000,   +

                   "Actual Total Time": 0.000,     +

                   "Actual Rows": 1,               +

                   "Actual Loops": 1,              +

                   "Output": ["56"],               +

                   "Shared Hit Blocks": 0,         +

                   "Shared Read Blocks": 0,        +

                   "Shared Written Blocks": 0,     +

                   "Local Hit Blocks": 0,          +

                   "Local Read Blocks": 0,         +

                   "Local Written Blocks": 0,      +

                   "Temp Read Blocks": 0,          +

                   "Temp Written Blocks": 0        +

                 }                                 +

               ]                                   +

             }                                     +

           ]                                       +

         }                                         +

       ]                                           +

     },                                            +

     "Triggers": [                                 +

     ],                                            +

     "Total Runtime": 0.096                        +

   }                                               +

 ]

(1 row)

ROLLBACK;

执行效率从高到低排序:

insert into tbl_test (id) values (53),(54),(55),(56);

execute t_test1(53,54,55,56);

insert into tbl_test (id) select 53 union all select 54 union all select 55 union all select 56;

另外需要注意的是EXPLAIN ANALYZE将真实的运行被解释的SQL，如果有修改操作，慎用EXPLAIN ANALYZE，即使要用的话，一定要BEGIN;,ROLLBACK;
wh62592855
关注
专栏目录
MySQL + PostgreSQL批量插入更新insertOrUpdate
学Java，找哪吒
11-15 9320
???? 周周有福利，周周有惊喜 哪吒社区 - 风火轮计划 ???? Java学习路线配套文章：Java学习路线总结，搬砖工逆袭Java架构师（全网最强） ???? Java经典面试题大全：10万字208道Java经典面试题总结(附答案) ???? 简介：Java领域优质创作者????、CSDN哪吒公众号作者✌ 、Java架构师奋斗者???? ???? 扫描主页左侧二维码，加入群聊，一起学习、一起进步 ???? 欢迎点赞 ???? 收藏 ⭐留言 ???? 这里写目录标题一、百度百科1、MySQL2、Pos
BatchInsert批量插入计算书.VLX
10-08
探索者需要插件，批量插入计算书，很实惠，很实用的的插件！！！
PostgreSQL的批量插入(batchInsert)对已存在且符合条件的数据做更新操作
旧尘夕的博客
02-24 1928
PostgreSQL的批量插入对已存在且符合条件的数据做更新操作 <update id="batchInsert"> insert into person(name,age,hobby,city,school,mobile) values <foreach collection="list" item = "item" index = "index" separator=","> (
PostgreSQL数据库如何快速插入大量数据_postgresql 大批量插入
最新发布
2401_87378079的博客
09-22 942
数据库CPU参数 | max_worker_processes:16 |
batch insert
gadbee5的专栏
02-19 294
oracle的批量插入方式是： insert into db(id, zgbh, shbzh) select '1', '2', '3' from dual union all select '2', '3', '4' from dual union all select '3', '4', '5' from dual ...
BatchInsert
mituan1234567的专栏
07-05 782
using (SqlConnection conn = new SqlConnection(DbConnString))                 {                     conn.Open();                     SqlDataAdapter sd = new SqlDataAdapter();                     sd
mysql batch insert_使用batch insert解决MySQL的insert吞吐量问题
weixin_32501329的博客
01-19 8339
最近使用了一个非常简单易用的方法解决了业务上的一个insert吞吐量的问题，在此总结一下。首先我们明确一下，insert吞吐量其实并不是指的IPS(insert per second)，而是指的RPS(effect rows per second)。其次我们再说一下batch insert，其实顾名思义，就是批量插入。这种优化思想是很基本的，MySQL中最出名的应用就是group commit。简...
gorm-b​​ulk-insert：使用gorm实现BulkInsert，只需传递一个Slice的结构即可。 简单兼容
02-02
Gorm Bulk Insert是一个使用实现批量插入的库。 只需传递一片结构即可执行批量插入，就像您定期使用gorm一样。 目的 当在数据库中保存大量记录时，一次插入-而不是一个接一个地插入-可以显着提高性能。 这被广泛称为...
insert-batch
04-19
在Postgresql中批量插入 db.ini 数据库配置 脚步 git clone cd插入批处理 根据数据库配置修改db.ini pip安装configparser psycopg2熊猫 将数据导入为csv python script.py
PostgreSQL merge insert(upsert/insert into on conflict) 如何区分数据是INSERT还是UPDATE
weixin_33889245的博客
10-19 2806
背景使用insert into on conflict update语法，可以支持UPSERT的功能，但是到底这条SQL是插入的还是更新的呢？如何判断 通过xmax字段的值是否不为0，可以判断，如果是UPDATE，XMAX里面会填充更新事务号。 注意直接用UPDATE语句更新的话，XMAX会写入0，因为是新版本，而老版本上XMAX会填入更新事务号。 例子...
PostgreSQL的学习心得和知识总结（一百四十六）|深入理解PostgreSQL数据库之客户端侧auto savepoint的使用和实现
孤傲小二~阿沐的博客
06-20 1377
深入理解PostgreSQL数据库之客户端侧auto savepoint的使用和实现
PgBulkInsert：Java库，可使用二进制COPY协议高效地批量插入PostgreSQL
02-05
PgBulkInsert PgBulkInsert是一个Java库，用于使用Binary COPY协议批量插入PostgreSQL。 它提供了PostgreSQL 的包装器： 是PostgreSQL特有的功能，它允许高效地批量导入表或从表导出数据。 与使用INSERT和SELECT相比，这是将数据进出表的更快的方法。 没有出色的库，该项目将无法实现，该库具有Postgres协议的漂亮实现。 建立 在Central Maven存储库中可用。 您可以将以下依赖项添加到pom.xml中，以在项目中包含 。 < dependency> < groupId>de.bytefish
批量插入
qq_33854869的博客
04-03 779
       经常有海量插入数据的需求，几十万，几千万甚至更多。常用的框架如mybatis、hibernate都支持批量插入，其基本原理都是重写insert语句（讲多个汇聚成一个）。从sql语句比较。非批量插入INSERT INTO `t` (`name`) VALUES ("name_1"); INSERT INTO `t` (`name`) VALUES ("name_2");批量插入INSE...
批量插入（Batch inserts）
ailihx的专栏
11-30 1130
如果要将很多对象持久化，你必须通过经常的调用 flush() 以及稍后调用 clear() 来控制第一级缓存的大小。Session session = sessionFactory.openSession();Transaction tx = session.beginTransaction(); for ( int i=0; i<100000; i++ ) { Cu
PostgreSQL 如何实现批量更新、删除、插入
weixin_34109408的博客
04-24 9104
标签 PostgreSQL , 批量 , batch , insert , update , delete , copy 背景 如何一次插入多条记录？ 如何一次更新多条记录？ 如何一次批量删除多条记录？ 批量操作可以减少数据库与应用程序的交互次数，提高数据处理的吞吐量。 批量插入 批量插入1 使用insert into ... select的方法...
使用batch insert解决MySQL的insert吞吐量问题
weixin_34138255的博客
06-11 582
最近使用了一个非常简单易用的方法解决了业务上的一个insert吞吐量的问题，在此总结一下。 首先我们明确一下，insert吞吐量其实并不是指的IPS（insert per second），而是指的RPS（effect rows per second）。 其次我们再说一下batch insert，其实顾名思义，就是批量插入。这种优化思想是很基本的，MySQL中最出名的应用就是group c...
多线程使用：batchInsert
qq_40756936的博客
06-25 645
工具类中的用多线程做插入数据的方法。
SqlServer 批量插入的方式比较常用的插入方式有Insert、BatchInsert、SqlBulkCop
qq_46104221的博客
02-21 4017
三者插入效率对比，Insert明显比SqlBulkCopy要慢太多，大概20~40倍性能差距，下面我们将SqlBulkCopy封装一下，让批量插入更加方便。sqlBulkCopy.ColumnMappings.Add------->指定数据库与数据源之间的对应关系。sqlBulkCopy.DestinationTableName------->指定数据库表名。sqlBulkCopy.BatchSize--------->每一批次的行数。这样就批量插入完毕了，执行起来速度很快。3.打开数据库连接插入数据。
postgresql批量插入mybatis
04-30
PostgreSQL是一种开源的关系性数据库管理系统，支持大量的数据类型和高级功能。而MyBatis是一个优秀的基于Java的持久层框架，可以将应用程序中的Java对象映射到关系数据库中。 在使用MyBatis进行 PostgreSQL 批量插入时，可以使用批处理技术来提高插入效率。具体做法是首先使用 MyBatis 的批量插入功能进行插入数据，然后再调用 PostgreSQL 中的 COPY 命令将数据批量导入数据库。 首先，在MyBatis的 Mapper.xml 文件中，我们需要定义批量插入的 SQL 语句。SQL 语句中使用foreach标签来循环插入所有数据行。具体参数可以根据需要进行调整，样例如下： ``` <insert id="batchInsert"> INSERT INTO table_name (column1, column2, ...) VALUES <foreach collection="list" item="item" separator=","> (#{item.column1}, #{item.column2}, ...) </foreach> </insert> ``` 然后，在 Java 代码中调用批量插入功能。具体代码如下： ``` SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH, false); try { Mapper mapper = sqlSession.getMapper(Mapper.class); for (Data data : dataList) { mapper.insert(data); } sqlSession.commit(); } finally { sqlSession.close(); } ``` 最后使用 COPY 命令进行批量导入数据。指定文件路径和分隔符，将数据文件中的内容导入到数据库中。具体代码如下： ``` COPY table_name FROM '/path/to/data.csv' WITH (FORMAT csv, DELIMITER ',', HEADER false); ``` 通过这种方式，可以有效地实现 PostgreSQL 批量插入 MyBatis 数据。同时也可以提高数据处理效率，降低系统负担。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值