Golang开发实践:把数据库数据保存到map[string]interface{}中

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/iyeahme/article/details/74932619

根据某个奇葩需求这段时间要做一个筛选数据库数据的工具,要求逐条从数据库读取数据。然后根据某几个字段筛选保存数据。这样一来某些不需要作为筛选依据的字段也要读取。
Golang读取数据库很简单,可以使用ORM也可以直接使用SQL语句。然而要处理的数据库表有几十个字段,光是定义一个四十多个字段的数据模型就让人感觉痛苦,况且并不是所有字段都要参与运算。于是就决定使用SQL语句来处理。保存到map[string]interface{},这样也方便实现导出字段可配置的需求。

保存到map[string]interface{}

看了一下Golang标准库database/sqlRows的API文档,并没有提供获取所有字段的API接口,文档提供的实例代码调用了Scan函数并传入相关指针获取数据.

rows, err := db.Query("SELECT ...")
...
defer rows.Close()
for rows.Next() {
    var id int
    var name string
    err = rows.Scan(&id, &name)
    ...
}
err = rows.Err() 

这样的处理方式明显无法完成需求,于是就想到了Golang强大的interface{},可以将相应长度的[]interface{}作为不定长参数传入Scan函数:

type Record interface{}
func (tf *DataIterator) parseRows(rows *sql.Rows, cSize int) (error) {
    columns, err := rows.Columns()
    if err != nil {
        return err
    }
    size := len(columns)
    pts := make([]interface{}, size)
    container := make([]interface{}, size)
    tf.cache = make([]Record, cSize)
    cursor := 0
    for i := range pts {
        pts[i] = &container[i]
    }
    for rows.Next() {
        err = rows.Scan(pts...)
        if err != nil {
            return err
        }
        var r Record = make(map[string]interface{}, size)
        for i, column := range columns {
            r[column] = container[i]
        }
        tf.cache[cursor] = r
        cursor++
    }
    return nil
}
  • 首先通过Rows.Columns获取数据库返回的字段
  • 声明相同长度的[]interface{}用以保存一行数据
  • 声明相同长度的[]interface{}作为容器
  • pts中元素的指针存入容器
  • 调用Rows.Scan()并将container作为不定长参数传入
  • 遍历Rows中的每一行数据即可保存数据库数据到map[string]interface{}

关于字符串

在实际操作中发现用这种操作方法数据库中的字符串(CHAR\VARCHAR等)类型会被作为[]uint8。遍历结果转换为string即可:

func formatRecord(r Record) {
    for k, v := range r {
        switch v.(type) {
        case []uint8:
            arr := v.([]uint8)
            r[k] = uiToS(arr)
        case nil:
            r[k] = ""
        }
    }
}

@author: Memory_Leak

阅读更多

没有更多推荐了,返回首页