c# 把DataTable中数据批量导入新的sqlite的db文件中

已于 2022-04-15 15:18:24 修改
阅读量6k 收藏 19
点赞数 3
分类专栏： c# 学习笔记 文章标签： c# oracle
于 2020-03-20 16:37:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sophiemantela/article/details/104984284
版权
  1. 需求 ： 使用sqlite数据库， 将文件A.db 中某张数据表的数据，备份到文件B.db中。
    解决方案：
  2. 使用dataTableUpdate。不推荐
  3. 可以使用事务进行批量处理。
    目的： 避免手动拼接大量insert into sql语句，直接将dataTable 作为参数，实现批量插入。

主要代码逻辑，及调用方式如下。

    //建表
     string createSql = $"CREATE TABLE {table}" +
               "(EPC varchar(32),UID  varchar(20),q_time varchar(8),flag INTEGER," +
               " PRIMARY KEY(EPC, UID, q_time))";
            SqlHelper.ExecuteNonQuery(createSql);
            //insert 语句
             string commandText = $"INSERT INTO {table}(EPC,UID,q_time,flag)VALUES(@EPC,@UID,@q_time,@flag)";
            SqlHelper.ExecuteMutliQuery(commandText, dt);

    
    调用方法
        public int ExecuteMutliQuery(string commandText, DataTable dtData)
        {
            int res = 0;
            if (Conn.State == ConnectionState.Closed)
                Conn.Open();
            using (SQLiteTransaction dbTrans = Conn.BeginTransaction())
            {
                try
                {
                    foreach (DataRow row in dtData.Rows)
                    {
                        res += ExecuteNonQuery(dbTrans, commandText, row.ItemArray);
                    }
                    dbTrans.Commit();
                }
                catch (Exception ex)
                {
                    res = -1;
                    dbTrans.Rollback();
                    throw ex;
                }
                finally
                {
                    //Conn.Close();
                }
            }
            return res;
        }

///调用方法
 public int ExecuteNonQuery(SQLiteTransaction transaction, string commandText, params object[] paramList)
        {
            if (transaction == null) throw new ArgumentNullException("transaction is null");
            if (transaction != null && transaction.Connection == null) throw new ArgumentException("The transaction was rolled back or committed,please provide an open transaction.", "transaction");
            using (IDbCommand cmd = transaction.Connection.CreateCommand())
            {
                cmd.CommandText = commandText;
                AttachParameters((SQLiteCommand)cmd, cmd.CommandText, paramList);
                if (transaction.Connection.State == ConnectionState.Closed)
                    transaction.Connection.Open();
                int result = cmd.ExecuteNonQuery();
                return result;
            }
        }


  #region AttachParameters(SQLiteCommand,commandText,object[] paramList)
        /// <summary>
        /// 增加参数到命令（自动判断类型）
        /// </summary>
        /// <param name="commandText">命令语句</param>
        /// <param name="paramList">object参数列表</param>
        /// <returns>返回SQLiteParameterCollection参数列表</returns>
        private SQLiteParameterCollection AttachParameters(SQLiteCommand cmd, string commandText, params object[] paramList)
        {
            if (paramList == null || paramList.Length == 0) return null;

            SQLiteParameterCollection coll = cmd.Parameters;
            string parmString = commandText.Substring(commandText.IndexOf("@"));
            // pre-process the string so always at least 1 space after a comma.
            parmString = parmString.Replace(",", " ,");
            // get the named parameters into a match collection
            string pattern = @"(@)\S*(.*?)\b";
            Regex ex = new Regex(pattern, RegexOptions.IgnoreCase);
            MatchCollection mc = ex.Matches(parmString);
            string[] paramNames = new string[mc.Count];
            int i = 0;
            foreach (Match m in mc)
            {
                paramNames[i] = m.Value;
                i++;
            }

            // now let's type the parameters
            int j = 0;
            Type t = null;
            foreach (object o in paramList)
            {
                t = o.GetType();

                SQLiteParameter parm = new SQLiteParameter();
                switch (t.ToString())
                {

                    case ("DBNull"):
                    case ("Char"):
                    case ("SByte"):
                    case ("UInt16"):
                    case ("UInt32"):
                    case ("UInt64"):
                        throw new SystemException("Invalid data type");


                    case ("System.String"):
                        parm.DbType = DbType.String;
                        parm.ParameterName = paramNames[j];
                        parm.Value = (string)paramList[j];
                        coll.Add(parm);
                        break;

                    case ("System.Byte[]"):
                        parm.DbType = DbType.Binary;
                        parm.ParameterName = paramNames[j];
                        parm.Value = (byte[])paramList[j];
                        coll.Add(parm);
                        break;

                    case ("System.Int32"):
                        parm.DbType = DbType.Int32;
                        parm.ParameterName = paramNames[j];
                        parm.Value = (int)paramList[j];
                        coll.Add(parm);
                        break;

                    case ("System.Int64"):
                        parm.DbType = DbType.Int32;
                        parm.ParameterName = paramNames[j];
                        parm.Value = Convert.ToInt32(paramList[j]);
                        coll.Add(parm);
                        break;

                    case ("System.Boolean"):
                        parm.DbType = DbType.Boolean;
                        parm.ParameterName = paramNames[j];
                        parm.Value = (bool)paramList[j];
                        coll.Add(parm);
                        break;

                    case ("System.DateTime"):
                        parm.DbType = DbType.DateTime;
                        parm.ParameterName = paramNames[j];
                        parm.Value = Convert.ToDateTime(paramList[j]);
                        coll.Add(parm);
                        break;

                    case ("System.Double"):
                        parm.DbType = DbType.Double;
                        parm.ParameterName = paramNames[j];
                        parm.Value = Convert.ToDouble(paramList[j]);
                        coll.Add(parm);
                        break;

                    case ("System.Single"):
                    case ("System.Decimal"):
                        parm.DbType = DbType.Decimal;
                        parm.ParameterName = paramNames[j];
                        parm.Value = Convert.ToDecimal(paramList[j]);
                        coll.Add(parm);
                        break;

                    case ("System.Guid"):
                        parm.DbType = DbType.Guid;
                        parm.ParameterName = paramNames[j];
                        parm.Value = (System.Guid)(paramList[j]);
                        coll.Add(parm);
                        break;

                    case ("System.Object"):

                        parm.DbType = DbType.Object;
                        parm.ParameterName = paramNames[j];
                        parm.Value = paramList[j];
                        coll.Add(parm);
                        break;

                    default:
                        throw new SystemException("Value is of unknown data type");

                } // end switch

                j++;
            }
            return coll;
        }
        #endregion
sophiemantela
关注
  • 3
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
C#把DataTable里的数据批量导入SQLite
hguo87的专栏
02-25 1万+
原目的：从一个老的SQLite里读出数据，存到DataTable里，然后保存到一个新的SQLite数据库中。 需要引用System.Data.SQLite.dll try { SQLiteConnection Conn = new SQLiteConnection(); DataTable dt = new
c# 操作Sqlite批量插入数据
weixin_30478923的博客
12-07 1357
本身sqlite没有提供批量插入的机制，所以，我们需要通过事务处理，首先构件下面方法： 1: /// <summary> 2: /// 执行多条SQL语句，实现数据库事务。 3: /// </summary> 4: /// <param name="SQLStringList"...
SQLite利用事务实现批量插入（提升效率）
最新发布
激发创造，丰富生活
05-12 590
上述代码创建一个循环，循环一百万次，每一次循环更新插入一条数据，这样一来就是对数据库操作了一百万次，虽然实现了批量操作，但是却对数据库造成了很大的开销，如果数据量再进一步扩大，此方法保不齐会让服务崩掉，所以这不是个最优解。在尝试过SQLite批量插入一百万条记录，执行时长高达20多分钟后，就在想一个问题，这样的性能是不可能被广泛应用的，更不可能出现在真实的生产环境中，那么对此应该如何优化一下呢？能不能对数据库只操作一次，就能实现数据的批量操作呢？运行后发现，执行时间惊人的只有 1s 左右。
datatable写入sqlite
qq_42678477的博客
08-14 4427
public class DataTableToSQLte { private string tableName; public string TableName { get { return tableName; } set { tableName = value; } ...
c# 对sqlite基本操作，带批量插入（百万级秒插）
12-12
下载来的资源，自己改了一下，共享出来，供小白使用，本想免费的，无奈最少是2分，再次吐槽一下csdn的下载规则变更，越来越商业化了。
C# SQLite批量快速插入数据
开发仔
08-11 6533
using System.Data; using System.Data.SQLite; namespace SQLite { class Program { static void Main(string[] args) { //数据源 DataTable dtData = new DataTable(); //创建数据库 SQLiteConnection .
C#使用SqlBulkCopy将DataTable写入数据库的表中（表不存在则创建新表,数据存在则更新,不存在则插入）...
weixin_34220179的博客
04-15 550
原文:.net使用SqlBulkCopy导入数据（创建新表） .net2.0后ado.net提供了一个快速导入sqlserver的方法sqlbulkcopy.导入效率非常高.  包装了一个简单的sqlbulkcopy类，用于数据从datatable导入到sqlserver.代码如下：   /// &lt;summary&gt; /// 将DataTable写入...
【C#基础】DataTable的操作
何处是故乡。
09-30 925
Datatable是比较常用的控件之一，基本操作： 创建新的Dateable :Dateable dt =new Dateable(); 添加列： 方式1. dt.Columns.Add("Name", typeof(string)); //数据类型方式2.DataColumn Time = new DataColumn("Time", typeof(DateTime)); dt.Colum
C#/.Net 中快速批量给SQLite数据库插入测试数据
09-03
在C#/.Net环境中，对SQLite数据库进行快速批量插入测试数据是常见的开发需求，尤其是在测试、性能优化或者数据初始化时。下面将详细讲解如何利用C#/.Net的特性以及SQLite数据库API来实现这一目标。 首先，SQLite是...
C#.NET中如何批量插入大量数据到数据库中
09-03
在C#.NET中批量插入大量数据到数据库是一个常见的任务，特别是在处理诸如从Excel文件导入数据等场景时。这里，我们将探讨如何使用C#.NET高效地完成这个任务，并提供一个简单的示例来说明整个过程。 首先，我们需要...
C#实现Excel表数据导入Sql Server数据库中的方法
08-30
在C#编程中，将Excel表数据导入到Sql Server数据库是一项常见的任务，尤其在数据迁移、数据处理或数据分析等场景中。以下是如何使用C#实现这一功能的详细步骤和相关知识点： 1. **创建目标数据库表**： 首先，你...
C# sqlite 批量更新及性能测试
12-07
C# sqlite 批量更新及性能测试
详解C#把DataTable中数据一次插入数据库的方法
08-31
本篇文章主要介绍了详解C#把DataTable中数据一次插入数据库的方法，具有一定的参考价值，有兴趣的可以了解一下。
C#实现Excel2007数据批量导入Access2007和导出
01-20
本示例主要讨论的是如何使用C#编程语言实现Excel 2007的数据批量导入到Access 2007，以及从Access 2007导出数据。这个程序在处理30000多条数据时，能在5秒左右完成导入，展示了高效的性能。 首先，我们需要了解C#中...
C#:几种数据库的大数据批量插入
Diamond、的博客
09-08 1592
/// <summary> /// 提供数据批量处理的方法。 /// </summary> public interface IBatcherProvider : IProviderService { /// <summary> /// 将 <see cref="DataTable"/&gt...
DataTable的数据批量写入数据库
热门推荐
humozhi的专栏
03-31 1万+
 最近在将excel中的文件导入到数据库中，用程序进行编写，由于数据量较大所以速度很慢，后来采用了SqlBulkCopy类，解决了速度的问题，我就insert语句,sqldataadapter.update(dataset,tablename);sqlbulkcopy.WriteToServer(datatable);三个方法的性能进行比较：1、生成测试的datatable表，表结构如下：
SQLite批量插入
zeron01的博客
09-04 2956
测试批量插入到SQLite的时长，共9599条数据方法1：单条进行插入，耗时约2分钟方法2：使用事务进行插入，耗时约2秒关于事务的使用步骤如下所述。
C# mysql与sqlite插入大量数据方法
leeyunj的博客
01-03 879
数据库优化
【转】C# 对sqlite基本操作，带批量插入
weixin_30501857的博客
05-20 892
原文地址：https://download.csdn.net/download/mic_gary/10154869 public class SQLiteHelper { //数据库连接字符串 public static string connectionString; public SQLiteHelper() ...
c#把datatable中的excel数据存入mysql
05-30
将DataTable中的Excel数据存入MySQL数据库可以按照以下步骤进行： 1. 首先需要使用ExcelDataReader库来读取Excel文件中的数据，该库支持读取多种格式的Excel文件，包括xls和xlsx格式。 2. 然后要使用MySQL Connector/NET库来连接到MySQL数据库。 3. 接下来，需要将读取到的Excel数据转换为MySQL数据库中对应的数据类型，并插入到MySQL数据库中。 以下是一个简单的示例代码： ```csharp // 读取Excel文件 using (var stream = File.Open(filePath, FileMode.Open, FileAccess.Read)) { using (var reader = ExcelReaderFactory.CreateReader(stream)) { // 获取第一个工作表 reader.Read(); var dataTable = reader.AsDataSet().Tables[0]; // 连接到MySQL数据库 var connectionString = "server=localhost;user id=root;password=123456;database=test"; using (var connection = new MySqlConnection(connectionString)) { connection.Open(); var command = connection.CreateCommand(); // 生成插入SQL语句 var sql = new StringBuilder(); sql.Append("INSERT INTO table_name (column1, column2, column3) VALUES "); for (int i = 1; i < dataTable.Rows.Count; i++) { sql.AppendFormat("('{0}', '{1}', '{2}'), ", dataTable.Rows[i][0], dataTable.Rows[i][1], dataTable.Rows[i][2]); } sql.Remove(sql.Length - 2, 2); // 移除最后一个逗号和空格 command.CommandText = sql.ToString(); // 执行SQL语句 command.ExecuteNonQuery(); } } } ``` 其中，`table_name`表示要插入数据的MySQL数据库表名称，`column1`、`column2`、`column3`表示Excel表中对应的列名。根据实际情况修改即可。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值