Python大规模数据插入Postgresql

一 、创建唯一性索引在数据库中，不做查询判断、重复插入不入库、不报错

## 需要owner权限
alter table t_rs_standard_satellite_image add constraint unique_source_product_id unique(source_product_id);

二、使用批量插入语句

    # batchInsert批量插入
    def batchInsert(self, image_sql, url_sql, image_data, url_data):
        conn, cursor = self.getConnect()
        try:
            # 循环插入批image量提交
            cursor.executemany(image_sql, image_data)
            # 循环插入批量url提交

            cursor.executemany(url_sql, url_data)
        except Exception as err:
            conn.rollback()  # 事务回滚
            return {'result': False, 'err': err}
        else:
            conn.commit()
        finally:
            # 关闭连接放回连接池、防止连接耗尽
            self.closeConnect(conn, cursor)

数据封装方式

        url_arr = (url, url_status_id, image_id[0], expire_time,
                   priority, create_date,
                   source_code)

        url_dict.append(url_arr)

sql格式

# python
url_sql = "insert into t_url(url,url_status_id,image_id,expire_time,priority,create_date,datasource)values(%s,%s,%s,%s,%s,%s,%s)"