SqlBulkCopy批量将Excel(Aspose)数据导入至SQL Server

转载自:https://blog.csdn.net/mzl87/article/details/79822488

项目使用的mvc模式,数据库访问使用的EF处理数据增删改查。

首先你要有一个最直接的封装有SqlBulkCopy的类,如下: 

        /// <summary>
        /// 大批量数据导入到数据库中
        /// </summary>
        /// <param name="dataTable">数据表</param>
        /// <param name="tableName">表名称</param>
        /// <returns>成功返回true,否则false</returns>
        public static bool BulkCopyTable(DataTable dataTable, string tableName)
        {
            try
            {
                using (var sqlBulkCopy = new SqlBulkCopy(connectionString))
                {
                    sqlBulkCopy.DestinationTableName = tableName;
 
                    if (dataTable != null && dataTable.Rows.Count != 0)
                    {
                        sqlBulkCopy.WriteToServer(dataTable);
                    }
                    sqlBulkCopy.Close();
                    return true;
                }
            }
            catch (System.Exception ex)
            {
                Console.WriteLine(ex.Message);
                return false;
            }
        }

 

  

  • 其次,项目中使用到了一个DataTable的扩展类,具体如下:
    /// <summary>
    /// DataTable扩展类
    /// </summary>
    public static class DataTableExtensions
    {
        /// <summary>
        /// Convert a List{T} to a DataTable.
        /// </summary>
        public static DataTable ToDataTable<T>(List<T> items)
        {
            var tb = new DataTable(typeof(T).Name);
 
            PropertyInfo[] props = typeof(T).GetProperties(BindingFlags.Public | BindingFlags.Instance);
 
            foreach (PropertyInfo prop in props)
            {
                Type t = GetCoreType(prop.PropertyType);
                tb.Columns.Add(prop.Name, t);
            }
 
            foreach (T item in items)
            {
                var values = new object[props.Length];
 
                for (int i = 0; i < props.Length; i++)
                {
                    values[i] = props[i].GetValue(item, null);
                }
 
                tb.Rows.Add(values);
            }
 
            return tb;
        }
 
        /// <summary>
        /// Return underlying type if type is Nullable otherwise return the type
        /// </summary>
        public static Type GetCoreType(Type t)
        {
            if (t != null && IsNullable(t))
            {
                if (!t.IsValueType)
                {
                    return t;
                }
                return Nullable.GetUnderlyingType(t);
            }
            return t;
        }
 
        /// <summary>
        /// Determine of specified type is nullable
        /// </summary>
        public static bool IsNullable(Type t)
        {
            return !t.IsValueType || (t.IsGenericType && t.GetGenericTypeDefinition() == typeof(Nullable<>));
        }
    }

 

  

注:这个类主要是将导入的数据集合转换为datatable以方便作为批量插入方法的参数。

 

  • 具体的导入代码如下:

 

var data = ExcelOpr.ImportExcel(path);
   var lstA = new List<A>();
   for (int rowIndex = 1; rowIndex < data.GetLength(0); rowIndex++)
   {
        var a = new A();
    //处理具体的字段赋值
    lstA.Add(a);
   }
 
   //导入到数据库中
   if (lstA != null && lstA.Count > 0)
   {
       var dt = DataTableExtensions.ToDataTable<A>(lstA);
       tempService.ImportExecel(dt);
   }

 

  

注:1、此处A为具体需要导入的数据表在EF中对应的c#类名,请一定保证EF中对象字段的顺序和数据库中的列顺序一致,否则无法导入;

    2、第一句代码

ExcelOpr.ImportExcel(path);

  path为导入文件的绝对路径,使用的是封装的导入方法,代码如下:(需要使用Aspose.Cells,在vs中自行下载、添加)

        /// <summary>
        /// 导入excel;返回是object的数组类型数据;
        /// 其中data.GetLength(0)表示数据的条数,包括标题栏;
        /// data.GetLength(1)表示数据的列数;
        /// data.GetValue(1, 1)表示拿到对应下表的数据;
        /// 使用形如:for (int i = 1; i 小于 data.GetLength(0); i++){}方式生成具体类型即可!
        /// </summary>
        /// <param name="strFileName">文件名(包含路径)</param>
        /// <returns>Object[,]数组类型</returns>
        public static Object[,] ImportExcel(String strFileName)
        {
            Workbook book = new Workbook(strFileName);
            //book.Open(strFileName);
            Worksheet sheet = book.Worksheets[0];
            Cells cells = sheet.Cells;
 
            return cells.ExportArray(0, 0, cells.MaxDataRow + 1, cells.MaxDataColumn + 1);
        }

    3、最后一句

tempService.ImportExecel(dt);

tempService 为业务逻辑实现的对象,调用具体的导入方法:

        /// <summary>
        /// excel数据导入,批量导入
        /// </summary>
        /// <param name="dt">datatable</param>
        /// <returns></returns>
        public bool ImportExecel(System.Data.DataTable dt)
        {
            return SqlHelper.BulkCopyTable(dt, "数据库表名");
        }
    

 

转载于:https://www.cnblogs.com/Denghejing/p/9831480.html

数据治理是确保数据准确性、可靠性、安全性、可用性和完整性的体系和框架。它定义了组织内部如何使用、存储、保护和共享数据的规则和流程。数据治理的重要性随着数字化转型的加速而日益凸显,它能够提高决策效率、增强业务竞争力、降低风险,并促进业务创新。有效的数据治理体系可以确保数据在采集、存储、处理、共享和保护等环节的合规性和有效性。 数据质量管理是数据治理中的关键环节,它涉及数据质量评估、数据清洗、标准化和监控。高质量的数据能够提升业务决策的准确性,优化业务流程,并挖掘潜在的商业价值。随着大数据和人工智能技术的发展,数据质量管理在确保数据准确性和可靠性方面的作用愈发重要。企业需要建立完善的数据质量管理和校验机制,并通过数据清洗和标准化提高数据质量。 数据安全与隐私保护是数据治理中的另一个重要领域。随着数据量的快速增长和互联网技术的迅速发展,数据安全与隐私保护面临前所未有的挑战。企业需要加强数据安全与隐私保护的法律法规和技术手段,采用数据加密、脱敏和备份恢复等技术手段,以及加强培训和教育,提高安全意识和技能水平。 数据流程管理与监控是确保数据质量、提高数据利用率、保护数据安全的重要环节。有效的数据流程管理可以确保数据流程的合规性和高效性,而实时监控则有助于及时发现并解决潜在问题。企业需要设计合理的数据流程架构,制定详细的数据管理流程规范,并运用数据审计和可视化技术手段进行监控。 数据资产管理是将数据视为组织的重要资产,通过有效的管理和利用,为组织带来经济价值。数据资产管理涵盖数据的整个生命周期,包括数据的创建、存储、处理、共享、使用和保护。它面临的挑战包括数据量的快速增长、数据类型的多样化和数据更新的迅速性。组织需要建立完善的数据管理体系,提高数据处理和分析能力,以应对这些挑战。同时,数据资产的分类与评估、共享与使用规范也是数据资产管理的重要组成部分,需要制定合理的标准和规范,确保数据共享的安全性和隐私保护,以及建立合理的利益分配和权益保障机制。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值