SQLite 批量插入很慢?用事务解决。

SQLite把每一次操作都当成一个事务,例如插入一条数据也是一个事务。删除一个也是事务。

在批量操作的时候就是N个事务,所以很慢,但是如果把N条插入语句放在一个事务里就很快哦

 

大概代码如下:

 

 public bool ImportToDBFromFile(string connStr, string fullExcelFilePath)
        {
            string sql = @"insert into AttachMent(KITID,CName,CPhone,Ptype,ISN,DateTime,Money,JName,JNameError,Sort,TimeStamp) 
                                values ('{0}','{1}','{2}','{3}','{4}','{5}',{6},'{7}','{8}',{9},'{10}')";
            //过滤字判断
            string fifterPath = Path.Combine(System.AppDomain.CurrentDomain.BaseDirectory, "System.Data.Words.dll");
            List<string> words = File.ReadAllLines(fifterPath).ToList().Distinct().ToList();
            //过滤字判断
            string tempSQL = string.Empty;

            using (SQLiteConnection conn = new SQLiteConnection(connStr))
            {
                conn.Open();
                DbTransaction trans = conn.BeginTransaction();
                DataSet ds = OfficeUtils.ExcelToDataSetByGjp(fullExcelFilePath);
                DataTable dt = ds.Tables[0];
                if (dt.Rows.Count > 0)
                {
                    foreach (DataRow dr in dt.Rows)
                    {
                        //插入数据库的时候就过滤关键词
                        string fileJname = Convert.ToString(dr["JName"]);
                        string fileJnameError = Convert.ToString(dr["JNameError"]);

                        foreach (string w in words)
                        {
                            if (fileJname.StartsWith(w))
                            {
                                fileJname = fileJname.Replace(w, "").TrimStart();
                                break;
                            }

                            if (fileJnameError.StartsWith(w))
                            {
                                fileJnameError = fileJnameError.Replace(w, "").TrimStart();
                                break;
                            }
                        }


                        tempSQL = string.Format(sql,
                            Convert.ToString(dr["KITID"])
                            , Convert.ToString(dr["CName"])
                            , Convert.ToString(dr["CPhone"])
                            , Convert.ToString(dr["PType"])
                            , Convert.ToString(dr["ISN"])
                            , Convert.ToString(dr["DateTime"])
                            , dr["Money"] == DBNull.Value ? 0.0 : Convert.ToDouble(dr["Money"])
                            , fileJname//Convert.ToString(dr["JName"])
                            , fileJnameError
                            , Convert.ToInt32(dr["Sort"])
                            , DateTime.Now
                            );
                        using (SQLiteCommand comm = new SQLiteCommand(tempSQL, conn))
                        {
                            comm.ExecuteNonQuery();
                        }
                    }
                }
                trans.Commit();
            }
            //导入完成后,更新字段。
            string updateSQL = @"update attachment set JName = JNameError where JName =''";
            DBHelper.ExecuteNonQuery(updateSQL);

            return true;
        }

  

转载于:https://www.cnblogs.com/HandLoong/p/8985920.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SQLite 是一个轻量级的嵌入式数据库系统,非常适合资源受限的环境。在 C++ 中进行 SQLite 批量插入可以通过以下步骤实现: 1. 首先确保你的系统已经安装了 SQLite,并且你的 C++ 环境配置了相应的库文件。 2. 打开数据库连接:使用 `sqlite3_open` 函数打开或创建一个数据库文件。 3. 准备 SQL 插入语句:编写包含占位符(如 `?`)的 SQL 插入语句,以便后续执行参数化查询。 4. 打开事务:为了提高批量插入的效率,可以先开启一个事务,这样可以在完成所有插入后再一次性提交。 5. 执行批量插入操作:通过循环,使用 `sqlite3_prepare_v2` 和 `sqlite3_bind_*` 系列函数绑定参数,然后使用 `sqlite3_step` 执行插入。重复此过程直到所有数据被插入。 6. 提交事务:完成所有插入操作后,通过 `sqlite3_commit` 提交事务。 7. 关闭数据库:最后,使用 `sqlite3_close` 关闭数据库连接。 示例代码可能如下所示: ```cpp #include <sqlite3.h> #include <iostream> int main() { sqlite3 *db; char *errMsg = nullptr; const char *sql; int rc; // 打开数据库连接 rc = sqlite3_open("example.db", &db); if (rc) { std::cerr << "无法打开数据库: " << sqlite3_errmsg(db) << std::endl; return 1; } // 开启事务 if (sqlite3_exec(db, "BEGIN TRANSACTION;", nullptr, nullptr, &errMsg) != SQLITE_OK) { std::cerr << "事务开启失败: " << errMsg << std::endl; sqlite3_free(errMsg); sqlite3_close(db); return 1; } // 准备 SQL 插入语句 sql = "INSERT INTO table_name (column1, column2) VALUES (?, ?);"; // 执行批量插入操作 sqlite3_stmt *stmt; if (sqlite3_prepare_v2(db, sql, -1, &stmt, nullptr) != SQLITE_OK) { std::cerr << "准备语句失败: " << sqlite3_errmsg(db) << std::endl; sqlite3_close(db); return 1; } for (int i = 0; i < 1000; ++i) { // 假设我们要插入1000条数据 sqlite3_bind_int(stmt, 1, i); // 绑定第一个参数 sqlite3_bind_text(stmt, 2, "data", -1, SQLITE_TRANSIENT); // 绑定第二个参数 // 执行插入操作 rc = sqlite3_step(stmt); if (rc != SQLITE_DONE) { std::cerr << "插入失败: " << sqlite3_errmsg(db) << std::endl; } sqlite3_reset(stmt); // 重置语句 } // 提交事务 if (sqlite3_exec(db, "COMMIT;", nullptr, nullptr, &errMsg) != SQLITE_OK) { std::cerr << "事务提交失败: " << errMsg << std::endl; sqlite3_free(errMsg); } // 清理 sqlite3_finalize(stmt); sqlite3_close(db); return 0; } ``` 在上面的示例代码中,我们创建了一个名为 `table_name` 的表,并且使用了两个参数进行批量插入。这里我们假设要插入1000条数据,你可以根据实际需要调整循环的次数。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值