Go sqlx包 + postges pq包实现postgres的批量插入、更新

最新推荐文章于 2024-07-08 22:01:16 发布

xingwangc2014

最新推荐文章于 2024-07-08 22:01:16 发布

阅读量9.5k

点赞数 2

分类专栏： Golang SQL 编程文章标签：数据库 sql go

本文链接：https://blog.csdn.net/xingwangc2014/article/details/54743735

版权

本文详细介绍了在Go语言中如何使用sqlx和pq包实现Postgres数据库的批量插入和更新操作。通过比较原始方法、稍好一点的方法和更快的方法，展示了通过预编译SQL语句和事务来提高性能的优化策略。测试结果显示，第三种方法（预编译SQL并批量执行）比其他方法更高效。文章深入探讨了执行流程，揭示了性能差异的关键在于预编译语句的次数。

摘要由CSDN通过智能技术生成

大家使用SQL like的数据库会经常用到类似如下的数据库语句批量插入数据：

insert into tablename set (item1, item2, item3) values
    (value1_1, value1_2, value1_3),
    (value2_1, value2_1, value2_3),
    ...

当有大量数据需要插入时，批量操作省去了大量建立、关闭连接的操作，将多次数据库写IO操作合并成一次操作，省去了很多不必要的时间消耗，将显著提高写效率。

写SQL语句相当的清晰明了，但是如果是写代码访问数据库，不同的语言访问不同数据库又有所不同。本文结合博主自己实践讲解下如何在Go语言中批量的实现postgres的插入和更新操作。

数据库访问流程

博主前面有三篇博文详细的介绍了Go语言如何访问SQL like的数据库。《Golang访问SQL like数据库（一）——思想、driver需实现接口》, Golang访问SQL like数据库（二）——sql package主要数据结构及方法, Golang访问SQL Like数据库（三）——sql package + Postgres driver源码走读。

三篇文章只是介绍了Go语言中访问SQL like数据库接口的设计思想，数据接口以及代码走读等，但是并没有具体的示例讲解如何实践。本文将作为对那个系列文章的补充，从实战的角度进一步加深理解。

简单的说一次数据库访问的流程包括四个步骤：1）创建、打开一个数据库连接；2）创建一个数据库操作事务；3）执行数据库事务；4）结束、关闭数据库连接。

原始办法

Go的接口化设计让访问数据库变得相当简单，只需要import相应的数据库driver包，然后根据document调用相应的interface，传入正确的餐数据就可以实现的对数据的访问。

注：本文示例使用的是在database/spl基础上封装了一层的sqlx包，相对于sql来说sqlx提供的了更多的接口支持。

最原始的方法就是：创建一个数据库连接，发起一次事务，拼SQL语句，执行SQL，commit然后断开连接结束当前事务。然后重新创建连接执行下一条SQL语句。

首先调用Open()方法，创建一个数据库连接,返回一个DB对象。
然后调用DB对象的Beginx方法开启一次事务；
然后调用事务的Exec方法执行插入或更新，或通过Query执行查询操作。
最后Commit事务并关闭数据库连接。
循环前面的步骤。

具体操作

假设有如下BD

create table test_c (
    name varchar,
    alia varchar,
    city_id int
)

示例代码

func MoreLazyWay() {
        db, err := sqlx.Open("postgres", "postgres://postgres:postgres@192.168.56.101/test_db?sslmode=disable")

        if err != nil {
                fmt.Println("Open error:", err)
                panic(err)
        }
        defer db.Close()

        sql := "insert into test_c (name, alia, city_id) values ($1, $2, $3)"

        for _, value := range values {
                tx, err := db.Beginx()
                if err != nil {
                        fmt.Println("Beginx error:", err)
                        panic(err)
                }

                _, err = tx.Exec(sql, value...)
                if err != nil {
                        tx.Rollback()
                }
                tx.Commit()
        }
}

稍微好一点的方法

前面的方法中，我们每操作一条SQL语句都要重新创建一次连接，一次有多条SQL需要执行时，需要重复执行多次SQL连接的建立与关闭。我们首先通过Postgres事务机制，只建立一次连接，把所有的SQL语句都放到一次事务中执行。通过减少连接的建立和关闭来优化数据库访问时间。

流程变为：

Open建立数据库连接；
Begin开始一个数据库操作事务；
拼SQL语句，Exec执行SQL
循环第#3步，执行所有的SQL
Commit提交操作，Close关闭连接。

为了保证后面测试的独立性，重新创建一个相同数据结构的表。

create table test (
    name varchar,
    alia varchar,
    city_id int
)

示例代码如下：

func LazyWay() {
        db, err := sqlx.Open("postgres", "postgres://postgres:postgres@192.168.56.101/test_db?sslmode=disable")

        if err != nil {
                fmt.Println("Open error:",