c#SqlBulkCopy开始事物操作，以及SqlDataReaderTools封装的工具类

最新推荐文章于 2023-12-05 13:19:10 发布
最新推荐文章于 2023-12-05 13:19:10 发布
阅读量766 收藏 1
点赞数 2
分类专栏： c#数据库访问 文章标签： SqlBulkCopy 事物 c# SqlDataReader工具类

1.SqlBulkCopy事物操作

//事务创建：创建一个开始事务的数据库连接
            SqlDataReaderTools sdrtTran = new SqlDataReaderTools();
            sdrtTran.CreateConAndOpenTran(@"配置的sqlserver数据库连接");
            try
            {
				delTime_q = delTime_z.AddDays(-delDay);
				//清空表
				string sqlDel = "delete from aaa where Time between '{0}' and '{1}'";
				object[] parmaters = { delTime_q.ToShortDateString().ToString(), delTime_z.ToShortDateString().ToString() };
				sqlDel = String.Format(sqlDel, parmaters);
				//事务1：执行删除数据


                IList<BBModel> list = new List<BBModel>();

                SqlDataReaderTools sdrtSearch = new SqlDataReaderTools();
                sdrtSearch.CreateConAndOpen(@"配置的sqlserver数据库连接");

                for (int i = 0; i < synDay; i++)
                {
                    searchTime_q = searchTime_z.AddDays(-i);

                    string sql = @"SELECT * from BB ";

                    IList<BBModel> listTemp = sdrtSearch.ExecuteToList<BBModel>(sql);
                    if (listTemp != null)
                    {
                        list = list.Concat(listTemp).ToList();
                    }
                }
                sdrtSearch.DisposeCon();

                //事务2：执行数据插入
                sdrtTran.BulkInsertTran<BBModel>("表名", list);

                //事务提交：销毁连接
                sdrtTran.DisposeConAndCommitTran();
                response.Content = new StringContent("成功");
            }
            catch (Exception e)
            {   //发生异常事务回滚：销毁连接
                sdrtTran.DisposeConAndRollbackTran();
                response.Content = new StringContent("删除或写入**表失败，失败原因：" + e.Message);
            }

工具类内容

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Configuration;
using System.Data;
using System.Data.SqlClient;
using System.Linq;
using System.Reflection;
using System.Web;

namespace DoTask.Common
{
    public class SqlDataReaderTools
    {
        private SqlConnection cn;
        private SqlTransaction tran;
        /// <summary>
        /// 方法1：根据配置创建1个连接，并打开
        /// </summary>
        /// <param name="dataBaseName"></param>
        /// <returns></returns>
        public SqlConnection CreateConAndOpen(string dataBaseName) {
            
            cn = new SqlConnection();
            cn.ConnectionString = ConfigurationManager.ConnectionStrings[dataBaseName].ConnectionString;
            cn.Open();
            return cn;
        }
        /// <summary>
        /// 方法2：根据配置仅创建1个连接
        /// </summary>
        /// <param name="dataBaseName"></param>
        /// <returns></returns>
        public SqlConnection CreateCon(string dataBaseName)
        {
            
            cn = new SqlConnection();
            cn.ConnectionString = ConfigurationManager.ConnectionStrings[dataBaseName].ConnectionString;
            return cn;
        }
        /// <summary>
        /// 方法3：创建一个开始事务的连接
        /// </summary>
        /// <param name="dataBaseName"></param>
        /// <returns></returns>
        public SqlConnection CreateConAndOpenTran(string dataBaseName)
        {
            
            cn = new SqlConnection();
            cn.ConnectionString = ConfigurationManager.ConnectionStrings[dataBaseName].ConnectionString;
            cn.Open();
            tran = cn.BeginTransaction();
            return cn;
        }
        /// <summary>
        /// 方法4：打开该连接
        /// </summary>
        public void OpenCon()
        {
            cn.Open();
        }
        /// <summary>
        /// 方法5：关闭该连接
        /// </summary>
        public void CloseCon()
        {
            cn.Close();
        }
        /// <summary>
        /// 方法6：关闭连接并提交事务
        /// </summary>
        public void CloseConAndCommitTran()
        {
            tran.Commit();
            cn.Close();
        }
        /// <summary>
        /// 方法7：关闭连接回滚事务
        /// </summary>
        public void CloseConAndRollbackTran()
        {
            tran.Rollback();
            cn.Close();
        }
        /// <summary>
        /// 方法8：销毁连接提交事务
        /// </summary>
        public void DisposeCon()
        {
            cn.Dispose();
        }
        public void DisposeConAndCommitTran()
        {
            tran.Commit();
            cn.Dispose();
        }
        /// <summary>
        /// 方法9销毁连接回滚事务
        /// </summary>
        public void DisposeConAndRollbackTran()
        {
            tran.Rollback();
            cn.Dispose();
        }
        /// <summary>
        /// 方法10：执行sql查询(不开始事务)
        /// </summary>
        /// <param name="sql"></param>
        /// <returns>返回SqlDataReader</returns>
        public SqlDataReader ExecuteReader(string sql)
        {
            SqlDataReader dr;
            using (SqlCommand cmd = new SqlCommand())
            {
                cmd.Connection = cn;
                cmd.CommandText = sql;
                dr = cmd.ExecuteReader();
            }
            return dr;
        }



        /// <summary>
        /// 方法11：判断SqlDataReader是否存在某列
        /// </summary>
        /// <param name="dr">SqlDataReader</param>
        /// <param name="columnName">列名</param>
        /// <returns></returns>
        private bool readerExists(SqlDataReader dr, string columnName)
        {

            dr.GetSchemaTable().DefaultView.RowFilter = "ColumnName= '" + columnName + "'";

            return (dr.GetSchemaTable().DefaultView.Count > 0);

        }

        ///<summary>
        ///方法12：利用反射和泛型将SqlDataReader转换成List模型
        ///</summary>
        ///<param name="sql">查询sql语句</param>
        ///<returns></returns>

        public IList<T> ExecuteToList<T>(string sql) where T : new()

        {
            IList<T> list;

            Type type = typeof(T);

            string tempName = string.Empty;

            using (SqlDataReader reader = ExecuteReader(sql))
            {
                if (reader.HasRows)
                {
                    list = new List<T>();
                    while (reader.Read())
                    {
                        T t = new T();

                        PropertyInfo[] propertys = t.GetType().GetProperties();

                        foreach (PropertyInfo pi in propertys)
                        {
                            tempName = pi.Name;

                            if (readerExists(reader, tempName))
                            {
                                if (!pi.CanWrite)
                                {
                                    continue;
                                }
                                var value = reader[tempName];

                                if (value != DBNull.Value)
                                {
                                    pi.SetValue(t, value, null);
                                }

                            }

                        }

                        list.Add(t);

                    }
                    return list;
                }
            }
            return null;
        }

        /// <summary>
        /// 方法13：批量往表插入数据（不使用始事务）
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="connection">ConfigurationManager.ConnectionStrings["BPMDATA"].ConnectionString</param>
        /// <param name="tableName"></param>
        /// <param name="list">插入数据的List集合</param>
        /// <returns></returns>
        public string BulkInsert<T>(string connection, string tableName, IList<T> list)
        {
            try
            {
                using (var bulkCopy = new SqlBulkCopy(connection))
                {
                    bulkCopy.BatchSize = list.Count;
                    bulkCopy.DestinationTableName = tableName;

                    var table = new DataTable();
                    var props = TypeDescriptor.GetProperties(typeof(T))
                                               .Cast<PropertyDescriptor>()
                                               .Where(propertyInfo => propertyInfo.PropertyType != null
                                                    && propertyInfo.PropertyType.Namespace != null
                                                    && propertyInfo.PropertyType.Namespace.Equals("System"))
                                               .ToArray();

                    foreach (var propertyInfo in props)
                    {
                        System.Diagnostics.Debug.WriteLine("列:" + propertyInfo.Name);
                        bulkCopy.ColumnMappings.Add(propertyInfo.Name, propertyInfo.Name);
                        table.Columns.Add(propertyInfo.Name, Nullable.GetUnderlyingType(propertyInfo.PropertyType) ?? propertyInfo.PropertyType);
                    }

                    var values = new object[props.Length];
                    foreach (var item in list)
                    {
                        for (var i = 0; i < values.Length; i++)
                        {
                            values[i] = props[i].GetValue(item);
                        }

                        table.Rows.Add(values);
                    }

                    bulkCopy.WriteToServer(table);
                }
                return "ok";
            }
            catch (Exception ee)
            {
                return ee.Message;
            }
        }

        /// <summary>
        ///方法14：批量往表插入数据（使用事务）
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="connection">ConfigurationManager.ConnectionStrings["BPMDATA"].ConnectionString</param>
        /// <param name="tableName"></param>
        /// <param name="list"></param>
        /// <returns></returns>
        public void BulkInsertTran<T>(string tableName, IList<T> list)
        {
                using (var bulkCopy = new SqlBulkCopy(cn, SqlBulkCopyOptions.Default, tran))
                {
                    bulkCopy.BatchSize = list.Count;
                    bulkCopy.DestinationTableName = tableName;

                    var table = new DataTable();
                    var props = TypeDescriptor.GetProperties(typeof(T))
                                               .Cast<PropertyDescriptor>()
                                               .Where(propertyInfo => propertyInfo.PropertyType != null
                                                    && propertyInfo.PropertyType.Namespace != null
                                                    && propertyInfo.PropertyType.Namespace.Equals("System"))
                                               .ToArray();

                    foreach (var propertyInfo in props)
                    {
                        System.Diagnostics.Debug.WriteLine("列:" + propertyInfo.Name);
                        bulkCopy.ColumnMappings.Add(propertyInfo.Name, propertyInfo.Name);
                        table.Columns.Add(propertyInfo.Name, Nullable.GetUnderlyingType(propertyInfo.PropertyType) ?? propertyInfo.PropertyType);
                    }

                    var values = new object[props.Length];
                    foreach (var item in list)
                    {
                        for (var i = 0; i < values.Length; i++)
                        {
                            values[i] = props[i].GetValue(item);
                        }

                        table.Rows.Add(values);
                    }

                    bulkCopy.WriteToServer(table);
                }
        }
        /// <summary>
        /// 方法15：执行无返回值的操作（delete,insert,update）,使用事务
        /// </summary>
        /// <param name="sql"></param>
        public void ExecuteNonQueryTran(string sql)
        {
           
            SqlCommand cmd = new SqlCommand();
            cmd.Connection = cn;
            cmd.CommandText = sql;
            cmd.Transaction = tran;
            cmd.ExecuteNonQuery();

        }

    }
}

 

小云小白
关注
专栏目录
SqlServer使用SqlBulkCopy批量新增和更新数据，快速高效
深南大道
02-19 3529
using System; using System.Collections.Generic; using System.Data; using System.Linq; using System.Text; using System.Data.SqlClient; using System.Collections; using System.Reflection; using System.Configuration; namespace Magic.Tool { /// <summar.
利用EFCore 封装Repository（可扩展不同数据的sql操作）
weixin_33875564的博客
04-30 5513
本篇是对EFCore进行下封装并实现基本的增删改查的同步异步方法及针对不同数据库的批量插入、sql语句直接操作数据库； 一、 先定义基础仓储接口IRepository public interface IRepository<TEntity,TKey> where TEntity : class { ...
C#使用SqlBulkCopy批量复制数据到数据表
09-04
主要介绍了C#使用SqlBulkCopy批量复制数据到数据表的方法,较为详细的讲述了SqlBulkCopy批量复制数据到数据表的原理与实现技巧,需要的朋友可以参考下
C#sqlbulkcopy的优化
weixin_30677617的博客
01-25 257
最近在进行项目的优化。现在部分数据的拷贝时间过长。需要进行上线前的优化，尝试，批次的数量和拷贝次数的之间的合理数值关系。 最近项目中使用到了SqlBulkCopy实现批量复制,在这里,我把部分代码筛选出来简单说明一下,希望对大家研究和使用SqlBulkCopy 有帮助.因为是筛选的代码,不是完整的方法,请大家尽量不要直接拷贝使用,这篇文章的目的上帮大家简单的理解SqlBulkCopy. /**...
在事务中执行批量复制操作
weixin_34408624的博客
12-25 155
    Microsoft SQL Server 包含名为 bcp 的常用命令行应用程序，用于快速将大文件批量复制到 SQL Server 数据库的表或视图中。使用 类可以编写提供类似功能的托管代码解决方案。还可以通过其他方式将数据加载到 SQL Server 表中（例如 INSERT 语句），但是 SqlBulkCopy 提供的性能要明显优于这些方式。     SqlBulkCopy 类只能...
[转]C#批量数据处理SqlBulkCopy
最新发布
Admans的专栏
12-05 598
在使用SqlbulkCopy中需要注意的问题，要把某个数据源批量插入数据库，首先需要把这个数据源完全加载到内存之中，然后进行插入操作，这样就会占用大量的内存，如果在进行下一次插入操作的时候没有释放内存中的数据那么整个机器的运行效率会被严重的拖慢，所以建议把源数据加载成为DataTable格式然后进行插入操作之后将这个DataTable所占用的内存主动释放，然后再去处理下一个数据源。由于在插入过程中可能会有失败，我们为了保证插入数据的完整性，在插入过程中带上数据库事务。作者：Scalzdp。
C# 利用 SqlBulkCopy 提交
陈熙之的博客
07-11 1090
最近要迁移数据，一个老版本的数据迁移到新版本的数据库中，字段、配置、参数什么的完全不一样。 纠结啊，写代码估计只花了1/5的时间，对字段参数这些简直是惨不忍睹啊。。。还算比较清楚结构的我，都已经无语了。 最后遇到SqlBulkCopy各种问题 以前封装好的方法只有单独一个表添加，调用了几次方法，经常出现此 SqlTransaction 已完成;它再也无法使用。 好吧，我改。。。 u...
数据库操作通用类(C#)
08-26
总之，C#中的数据库操作通用类是一个强大的工具，可以帮助开发者以统一的方式处理多种数据库，减少重复代码，提高代码质量和可维护性。通过理解并运用这些概念，可以更好地构建高效、安全的数据库应用。
C# 使用 SqlBulkCopy 批量导入 DataTable 到 SQL Server
C#中的SqlBulkCopy类是批量操作SQL Server数据的强大工具，尤其适用于大数据量的导入和更新，有效提高了数据处理的效率。通过配置ColumnMappings，即使源数据结构与目标表结构不完全匹配，也能灵活地进行数据映射，...
Z.BulkOperations.rar
06-08
本文将深入探讨如何利用C#进行数据库批量操作，以及如何利用“Z.BulkOperations”这个工具或库来提升效率。 首先，C#通常使用ADO.NET（数据访问对象）框架来与数据库交互，包括SQL Server、MySQL、Oracle等。ADO...
C#使用SqlTransaction事务回滚与SqlBulkCopy批量插入数据
weixin_30815469的博客
12-21 618
C#中批量处理数据，有时候因为一条记录导致整个批量处理失败。这时候肯能会导致数据不全等问题，这时候我们可以使用SqlTransaction来进行事务回滚，即是要么全部成功要么全部不成功。如下代码 //测试事务回滚 public static string GetMsgBySJ() { var msg = ""; ...
SqlBulkCopy 结合事务 批量保存数据到数据库
weixin_30667301的博客
05-09 97
/// <summary> /// 保存到数据库 /// </summary> /// <param name="mDCCampaignList"></param> /// <param name="mDCAdgroupList"></par...
SqlBulkCopy类
weixin_30576827的博客
08-13 99
首先:web.config <connectionStrings><addname="srcDBConnection"connectionString="server=.;database=pubs;uid=sa;pwd="/><addname="desDBConnection"connectionString="server...
SqlBulkCopy加了事务真的会变快吗？
DevOpenClub 专栏
09-11 171
在上一篇文章不同版本的SQL Server之间数据导出导入的方法及性能比较中比较了5种方法进行数据迁移的效率，最后发现使用SqlBulkCopy具有极高的性能。 在文章的回复中，园友温景良(Jason)提到：sqlbulkcopy如果加上事务呢,速度应该快些吧! 当时我一想，SqlBulkCopy可以包含在事务里面执行吗？因为我记得SqlBulkCopy是基于BCP且不写log的...
批量插入数据 C# SqlBulkCopy使用
山鹰的专栏
09-06 2839
[csharp] view plaincopy private static void DataTableToSQLServer( DataTable dt)   {       string connectionString = GetConnectionString();          using (SqlConnection destinationC
C# 使用SqlBulkCopy类批量复制大数据
12-31 213
DataTable dt = new DataTable(); dt.Columns.Add("Name"); dt.Columns.Add("Age"); for (int i = 0; i < 80000; i++) { DataRow row = dt.NewRow(); row["Name"] = "aa" + i; ...
C# SqlBulkCopy批量插入帮助类
qq_28017061的博客
06-27 1180
using System.Data.SqlClient; using System.ComponentModel; using System.Linq;        #region SqlBulkCopy批量插入数据 /// &lt;summary&gt; /// 执行SqlBulkCopy批量插入，执行事务。 /// &lt;/summary&g...
使用事务和SqlBulkCopy导入大批量数据
热门推荐
okman1214的专栏
11-05 1万+
使用事务和SqlBulkCopy导入大批量数据   使用事务和SqlBulkCopy导入大批量数据 个人测试所用。调用请修改。 /// /// 使用事务和SqlBulkCopy批量导入数据 示例 /// By Conan304 2009年8月29日21:51:02 /// /// /// private static void Sq
C#使用SqlBuckCopy批量插入数据
Lan_Ann的博客
04-21 399
当需要插入大量数据时，使用SqlBuckCopy效率较高，现将要插入的数据添加到DataTable中。如果新生成ID号，使用SqlBulkCopyOptions.UseInternalTransaction，保留原来的ID,用SqlBulkCopyOptions.KeepIdentity //sqlBulkCopy public static string BatchInsertBySqlBulkCopy(DataTable dt, string tableName) {
C#高效批量操作数据库：SqlBulkCopy示例
总结来说，使用C#的`SqlBulkCopy`类可以显著提高大数据量修改的效率，减少了数据库的I/O操作，从而提升了整体性能。在处理百万级或更大规模的数据时，这种批量操作的方式是必不可少的。同时，结合不同的数据处理策略...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值