Postgresql单表【插入】/【更新】百万数据

最新推荐文章于 2023-11-22 15:53:47 发布

weixin_30826095

最新推荐文章于 2023-11-22 15:53:47 发布

阅读量1.1k

点赞数

文章标签：数据库 python

原文链接：http://www.cnblogs.com/hoojjack/p/11345828.html

版权

本文探讨了在PostgreSQL中处理百万级数据的插入和更新问题。介绍了使用普通INSERT语句的效率低下，转而使用COPY函数进行批量导入，以及通过临时表和索引来提升更新效率的方法。同时，提到了Python在事务处理上的优化，可以显著减少插入数据的时间。

摘要由CSDN通过智能技术生成

一、插入数据

说到插入数据，一开始就想到：

insert int A values(*******************)

插入多条数据，最多想到：写成这样：

insert into A values(**********),(*************),(*****************)

但是在百万数据面前，都太慢了。

1、用脚本的方式

 1 #!/bin/bash
 2 strsql="insert into tbl_devaccess8021x (uidrecordid, dtaccesstime, strmac, strusername, strswitchip, strifname, iisauthsuc,iisantipolicy,iisaccessed,strmachinecode,strrandomcode,iaccesstype,straccessfailedcode,uidroleid ,struserdes) values('d71803axxx1','2019-08-02 20:37:35', '1:2:3:4:5:6', 'criss0', '192.168.2.146','FastEthernet0/1',0,0,1,'000000000020A0B01','020A0B01',1,0,'研发','crissxu10')"
 3 
 4 for ((i=1; i <=3000000; i++))
 5 do
 6     strsql=$strsql",('d71803axxx$i',$(date +%s), '1:2:3:4:5:$i', 'criss$i', '192.168.2.$i','FastEthernet0/1',0,0,1,'000000000020A0B01','020A0B01',1,0,'研发','crissxu10')"