功能齐全、效率一流的免费开源数据库导入导出工具（c#开发，支持SQL server、SQLite、ACCESS三种数据库），每月借此处理数据5G以上...

最新推荐文章于 2023-03-20 19:49:13 发布
最新推荐文章于 2023-03-20 19:49:13 发布
阅读量264 收藏 1
点赞数
文章标签： 数据库 c#
原文链接：http://www.cnblogs.com/yfl8910/p/3813807.html
版权

软件名：DataPie

功能：支持SQL server、SQLite、ACCESS数据库的导入、导出、存储过程调用，支持EXCEL2007、EXCEL2003、ACCESS2007、 CSV文件导入数据库，支持EXCEL、CSV、ZIP、ACCESS文件方式导出，支持数据拆分导出及自定义SQL查询与导出。

开发背景：作者从事财务管理工作，主要是出具集团的内部财务报表，随着公司精细化管理的需求，管理报表的数据量急速增长， 依赖EXCEL加工处理数据已经变得极为困难，因此团队全面转向关系数据库进行数据处理，为减少财务人员使用数据库的难度，因此专门针对财务报表核算需要，开发了该工具。目前，我月度报表处理的数据量超过5G，最大的单次运算量记录接近千万，该工具主要发挥的作用就是将收集到的数据， 导入SQL SERVER数据库，进行报表运算，并且输出各类财务报表，对于几十万级的数据输入、输出基本上能够轻松应付。

源码下载地址：https://github.com/yfl8910/DataPie

 

软件界面及主要代码：

1.导入界面，支持EXCEL2007、EXCEL2003、ACCESS2007、 CSV文件导入数据库，支持CSV文件夹整体导入相应表。财务工作的数据源较多，有业务提供的excel数据，也有从系统中取出的csv、excel或者text文档，为满足多种数据源的输入，所以多种数据源导入数据库。目前SQL SERVER导入整体效率较高，ACCESS下，excel文件导入效率最高（几十万的数据量可以很快导入），其他方式效率还有待提升。

涉及核心代码如下

  public static DataTable GetDataTableFromFile(string path, string tname)
        {
            string ace = "Microsoft.ACE.OLEDB.12.0";
            string jet = "Microsoft.Jet.OLEDB.4.0";
            string xl2007 = "Excel 12.0 Xml";
            string xl2003 = "Excel 8.0";
            string imex = "IMEX=1";
            string hdr = "Yes";
            string conn = "Provider={0};Data Source={1};Extended Properties=\"{2};HDR={3};{4}\";";
            string select = "";
            string ext = Path.GetExtension(path);
            OleDbDataAdapter oda;
            DataTable dt = new DataTable(tname);
            switch (ext.ToLower())
            {
                case ".xlsx":
                    conn = String.Format(conn, ace, Path.GetFullPath(path), xl2007, hdr, imex);
                    select = string.Format("SELECT * FROM [{0}$]", tname);
                    break;
                case ".xls":
                    conn = String.Format(conn, jet, Path.GetFullPath(path), xl2003, hdr, imex);
                    select = string.Format("SELECT * FROM [{0}$]", tname);
                    break;
                case ".accdb":
                    conn = String.Format("Provider=Microsoft.ACE.OLEDB.12.0;Data Source= {0};Persist Security Info=False;", path);
                    select = string.Format("SELECT * FROM [{0}]", tname);
                    break;
                case ".csv":
                    conn = String.Format(conn, ace, path.Substring(0, path.LastIndexOf('\\')), "text;Excel 12.0", hdr, imex);
                    select = string.Format("SELECT * FROM [{0}]", Path.GetFileName(path));
                    break;
                default:
                    throw new Exception("File Not Supported!");
            }
            OleDbConnection con = new OleDbConnection(conn);
            con.Open();
            oda = new OleDbDataAdapter(select, con);
            oda.Fill(dt);
            con.Close();
            return dt;
        }

 

 

2.数据导出界面，支持EXCEL2007、CSV、ACCESS、zip压缩文件、分拆导出几个功能。我目前从事的岗位，报表整体数据量接近千万级，其中单表需要导出分发到业务手中的数据量最大也超过了百万级，目前达到百万级数据量的表导出，一般采用CSV文件或者压缩包的形式，或者分多个表导出。

涉及核心代码。excel导出主要源码 ：

  public static void SaveExcel(string FileName, string sql, string SheetName)
        {

            FileInfo newFile = new FileInfo(FileName);
            if (newFile.Exists)
            {
                newFile.Delete();
                newFile = new FileInfo(FileName);
            }
            using (ExcelPackage package = new ExcelPackage(newFile))
            {
                try
                {
                    ExcelWorksheet ws = package.Workbook.Worksheets.Add(SheetName);

                    IDataReader reader = DBConfig.db.DBProvider.ExecuteReader(sql);
                    ws.Cells["A1"].LoadFromDataReader(reader, true);
                }
                catch (Exception ex)
                {
                    throw ex;
                }
                package.Save();
            }
         
        }

        /// <summary>
        /// 工作簿中添加新的SHEET
        /// </summary>
        public static bool SaveExcel(ExcelPackage package, string sql, string SheetName)
        {

            try
            {
                ExcelWorksheet ws = package.Workbook.Worksheets.Add(SheetName);
                IDataReader reader = DBConfig.db.DBProvider.ExecuteReader(sql);
                ws.Cells["A1"].LoadFromDataReader(reader, true);

                return true;
            }
            catch (Exception ex)
            {
                throw ex;
            }
        }
        /// <summary>
        /// 单表格导出到一个EXCEL工作簿
        /// </summary>
        public static int ExportExcel(string FileName, string sql, string SheetName)
        {
            if (FileName != null)
            {
                Stopwatch watch = Stopwatch.StartNew();
                watch.Start();

                SaveExcel(FileName, sql, SheetName);
                watch.Stop();
                return Convert.ToInt32(watch.ElapsedMilliseconds / 1000);
            }

            return -1;
        }

        public static async Task<int> ExportExcelAsync(string FileName, string sql, string SheetName)
        {

            return await Task.Run(
                () => { return ExportExcel(FileName,sql,SheetName); }
                );

        }

        /// <summary>
        /// 多表格导出到一个EXCEL工作簿
        /// </summary>
        public static int ExportExcel(string[] TabelNameArray, string filename)
        {
            if (filename != null)
            {
                Stopwatch watch = Stopwatch.StartNew();
                watch.Start();

                FileInfo newFile = new FileInfo(filename);
                if (newFile.Exists)
                {
                    newFile.Delete();
                    newFile = new FileInfo(filename);
                }


                using (ExcelPackage package = new ExcelPackage(newFile))
                {
                    for (int i = 0; i < TabelNameArray.Length; i++)
                    {
                        string sql = "select * from  [" + TabelNameArray[i] + "]";
                        IDataReader reader = DBConfig.db.DBProvider.ExecuteReader(sql);
                        SaveExcel(package, sql, TabelNameArray[i]);

                    }
                    package.Save();
                }
                watch.Stop();
                return Convert.ToInt32(watch.ElapsedMilliseconds / 1000);
            }

            return -1;
        }

        public static  async Task<int> ExportExcelAsync(string[] TabelNameArray, string filename) {

            return await Task.Run(
                () => { return ExportExcel( TabelNameArray,filename); }      
                );

        }

        /// <summary>
        /// 分拆导出
        /// </summary>
        public static int ExportExcel(string[] TabelNameArray, string filename, string[] whereSQLArr)
        {
            if (filename != null)
            {
                Stopwatch watch = Stopwatch.StartNew();
                watch.Start();
                FileInfo file = new FileInfo(filename);
                int wherecount = whereSQLArr.Length;
                int count = TabelNameArray.Length;
                for (int i = 0; i < wherecount; i++)
                {
                    string s = filename.Substring(0, filename.LastIndexOf("\\"));
                    StringBuilder newfileName = new StringBuilder(s);
                    int index = whereSQLArr[i].LastIndexOf("=");
                    string sp = whereSQLArr[i].Substring(index + 2, whereSQLArr[i].Length - index - 3);
                    newfileName.Append("\\" + file.Name.Substring(0, file.Name.LastIndexOf(".")) + "_" + sp + ".xlsx");
                    FileInfo newFile = new FileInfo(newfileName.ToString());
                    if (newFile.Exists)
                    {
                        newFile.Delete();
                        newFile = new FileInfo(newfileName.ToString());
                    }

                    for (int j = 0; j < count; j++)
                    {
                        string sql = "select * from [" + TabelNameArray[j] + "]" + whereSQLArr[i];
                        IDataReader reader = DBConfig.db.DBProvider.ExecuteReader(sql);
                        SaveExcel(newfileName.ToString(), sql, TabelNameArray[j]);

                    }


                }

                watch.Stop();
                return Convert.ToInt32(watch.ElapsedMilliseconds / 1000);
            }

            return -1;
        }

        public static async Task<int> ExportExcelAsync(string[] TabelNameArray, string filename, string[] whereSQLArr)
        {

            return await Task.Run(
                () => { return ExportExcel(TabelNameArray,filename,whereSQLArr); }
                );

        }

csv导出主要源码 （其他代码请参github上的源码）：

  private static void WriteHeader(IDataReader reader, StreamWriter sw)
        {
            for (int i = 0; i < reader.FieldCount; i++)
            {
                if (i > 0)
                    sw.Write(',');
                sw.Write(reader.GetName(i));
            }
            sw.Write(Environment.NewLine);
        }
        private static void WriteContent(IDataReader reader, StreamWriter sw)
        {
            for (int i = 0; i < reader.FieldCount; i++)
            {
                if (i > 0)
                    sw.Write(',');
                String v = reader[i].ToString();
                if (v.Contains(',') || v.Contains('\n') || v.Contains('\r') || v.Contains('"'))
                {
                    sw.Write('"');
                    sw.Write(v.Replace("\"", "\"\""));
                    sw.Write('"');
                }
                else
                {
                    sw.Write(v);
                }
            }
            sw.Write(Environment.NewLine);
        }

        public static int SaveCsv(IDataReader reader, string filename)
        {
            Stopwatch watch = Stopwatch.StartNew();
            watch.Start();

            StreamWriter sw = new StreamWriter(filename, false, Encoding.GetEncoding("gb2312"));
            WriteHeader(reader, sw);

            while (reader.Read())
            {
                WriteContent(reader, sw);
            }

            sw.Flush();
            sw.Close();//释放资源

            watch.Stop();
            return Convert.ToInt32(watch.ElapsedMilliseconds / 1000);
        }
        public static async Task<int> ExportCsvAsync(IDataReader reader, string filename)
        {
            return await Task.Run( () => { return SaveCsv( reader,  filename);} );
        }

        public static StreamWriter GetStreamWriter(string filename, int outCount)
        {
            string s = filename.Substring(0, filename.LastIndexOf("."));
            StringBuilder newfileName = new StringBuilder(s);
            newfileName.Append(outCount + 1 + ".csv");
            FileInfo newFile = new FileInfo(newfileName.ToString());
            if (newFile.Exists)
            {
                newFile.Delete();
                newFile = new FileInfo(newfileName.ToString());
            }
            StreamWriter sw = new StreamWriter(newfileName.ToString(), false, Encoding.GetEncoding("gb2312"));
            return sw;
        }
    
        public static int SaveCsv(IDataReader reader, string filename, int pagesize)
        {
            int innerCount = 0, outCount = 0;
            Stopwatch watch = Stopwatch.StartNew();
            watch.Start();
            StreamWriter sw = GetStreamWriter(filename, outCount);
            WriteHeader(reader, sw);
            while (reader.Read())
            {
                if (innerCount < pagesize)
                {
                    WriteContent(reader, sw);
                    innerCount++;
                }
                else
                {
                    innerCount = 0;
                    outCount++;
                    sw.Flush();
                    sw.Close();
                    sw = GetStreamWriter(filename, outCount);
                    WriteHeader(reader, sw);
                    WriteContent(reader, sw);
                    innerCount++;
                }
            }
            sw.Flush();
            sw.Close();
            watch.Stop();
            return Convert.ToInt32(watch.ElapsedMilliseconds / 1000);

        }
        public static async Task<int> ExportCsvAsync(IDataReader reader, string filename, int pagesize)
        {
            return await Task.Run(() => { return SaveCsv(reader, filename,pagesize); });
        }

 

3.设置拆分导出条件。财务工作中，涉及向业务单位分发各自的财务数据，如果采用手工筛选，然后分发效率较低，所以开发此功能，快速实现数据的拆分发送。

 

4.自定义SQL代码导出。通过双击左边的表名即可自动生成导出SQL脚本，点击添加条件，还可以增加导出的条件。该工具在数据核查时，使用比较方便，虽然SQL server数据库也自带相应的功能，但是导出功能缺无法满足我的需求，所以开发一个方便自己使用的界面还是很有必要的。

 

 

其他各项功能，及代码请参考github上的源码。

 

转载于:https://www.cnblogs.com/yfl8910/p/3813807.html

weixin_30436101
关注
C# sql数据的导入导出
黄长旭的专栏
02-23 1815
从sql导出到txt    try                 {                     SqlDataAdapter sdr = new SqlDataAdapter("select * from T_GRDA", con);                     DataSet ds = new DataSet();
用C#写了一个管理数据库的工具，目前是基于MySql,可轻松扩展至其他数据库。
jerryjerryone的专栏
12-30 878
用C#写了一个管理数据库的工具，可轻松创建，删除，修改数据库和数据库中的表项，界面如下图所示： 目前只基于MySql数据库，但是用户可以灵活扩展，在程序中使用抽象工厂来创建数据库的实例，用户只需要定义如下接口：     public interface DbInit     {         bool IsConnect();         bool IsConnect(
C#写的数据库管理工具,用于表、视图、等的查看，修改、创建
05-24
自已做的数据库管理工具，支持SQL SERVER，ORACLE，DB2，适合初学者.
介绍一个开源的在线管理SQLServer的小工具--SQLEntMan
dfdfadsf3443的博客
06-07 229
近来有许多人问起SQL在线管理的问题，遂将以前用过的一个开源SQL 在线管理工具修改了一下，并分享。 看下效果图： 原项目的地址：http://sourceforge.net/projects/asp-ent-man/files/ 邀月修改后的项目:vs2010版本：下载二下载一vs2005版本：下载三 注：邀月提供的下载是在vs2010+F...
C# SQL SERVER 脚本导出导入 ； SQL SERVER 导出；SQL SERVER 导入；SQL SERVER 数据库 导出；SQL SERVER 数据库 导入；
唐灵波
09-17 721
C# SQL SERVER 脚本导出导入 ; SQL SERVER 导出；SQL SERVER 导入；SQL SERVER 数据库 导出；SQL SERVER 数据库 导入； 实现功能 和SQL Server 2014 Management Studio 里面的生成脚本相似 源码地址：未上传
Access转Sqlite.rar
04-03
Access是一款由微软开发的关系型数据库管理系统（RDBMS），而SQLite则是一个轻量级、开源的嵌入式数据库系统。这种转换可能在需要在无服务器环境下或者跨平台应用中使用数据时发生。 Access和SQLite各有其特点。...
全国邮编区号 access和SQLite数据库两个版本
11-05
Access是Microsoft Office套件中的一个数据库管理系统，常用于小型企业或个人管理数据，而SQLite则是一种轻量级的、开源的、嵌入式的关系型数据库，广泛应用于移动应用、网页开发等领域。 在描述中，作者提到用代码...
数据库选型粗略对比，欢迎补充！！！
qq_39904855的博客
07-22 3593
MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL是开源的，目前隶属于Oracle旗下产品。MySQL支持大型的数据库。可以处理拥有上千万条记录的大型数据库。MySQL使用标准的SQL数据语言形式。MySQL可以运行于多个系统上，并且支持多种语言。...
C# .net SQLite存取GBK格式字符串
hello，Kingshan
06-09 2540
前一阵接手了一个项目，是一个读取Excel的数据，然后导出到SQLite数据库中。听起来是很简单，可是仍旧遇到了不少问题。其实困扰我好久的问题就是如何存GBK编码的字符串到SQLite中。跟我对接的Android那边需要读这个db文件，链接数据库的时候用的GBK编码，之前的导出软件是用的Delphi写的。所以我这边必须用C#存GBK。一开始我尝试了跟多次在代码中先转UTF-8到GBK格式，再存进数据
数据简化社区2018年全球数据库总结及18种主流数据库介绍(公号回复“数据库2018”下载典藏版PDF报告)
数据简化DataSimp社区
08-16 9278
数据简化社区2018年全球数据库总结及18种主流数据库介绍(公号回复“数据库2018”下载典藏版PDF报告) 秦陇纪 数据简化DataSimp 今天 数据简化DataSimp导读：Google搜索量最大的DB-Engines数据库排名，介绍前几名数据库特点、云AI区块链等数据库服务；展望2018年数据库发展趋势，本文合计40k字详读约需36分钟。最近群里说国内可以重新使用谷歌搜索、谷歌学术...
C#数据库管理工具（完整版）用户名:zl 密码：0
07-23
使用VS 2008环境c#编写，使用access作为后台数据库，实现了用户登录验证，根据权限限制功能，完成了通过c#查询、修改、删除数据库内的信息，使用了水晶报表 （本人在论坛里长期潜水，得到了许多帮助，把还算完整的程序贡献给有志于c#的同仁，对于一个初学者，这段程序还是值得一看的，至于老鸟大仙们就不要太挑剔了。在此要感谢我的女朋友，离不开她的支持，今后我还会陆续的上传一些完整程序，如果大家认为有帮助就继续关注我，如果有错误尽请谅解）
swing开发的数据库管理工具(DBAnywhere4.73)
09-23
下载地址：http://willim2000.blog.chinajavaworld.com/entry/3032/0/?slideshow=0 这是最新的,这边附件不好更新。
全能数据库管理工具Database .NET
01-04
全能数据库管理工具Database .NET
C#数据同步源代码
12-03
利用C#写的数据同步源代码。利用C#写的数据同步源代码。
数据同步、备份-C#源代码
11-19
可用于文件同步、更新、备份的C#源代码，非常简单！
将数据库查询的信息导出到Excel
不喝水的水煮鱼的博客
11-04 387
将数据库查询的信息导出到Excel 生成Excel及数据 public class ExportExcel<T> { /** * Excel导出功能 * 注意：T类字段名和containBean集合里字段名字的一致性 * * @param title 表名 * @param headers 表头 ...
C#数据库数据导入导出系列之四 WinForm数据库导入导出到Excel
dianzudi1839的博客
11-13 176
C#数据库数据导入导出系列之四 WinForm数据库导入导出到Excel 在日常的项目中，Excel，Word，txt等格式的数据导入到数据库中是很常见的，我在这里做一下总结 这里将分为Asp.net导入Sql Server，Oracle数据库和WinForm导入Sql Server，Oracle数据库。 这里将的数据库数据库导入导出，其实对Sql Server 和Oracle都是...
20230320将单词表导入数据库
最新发布
qq_38175059的博客
03-20 170
20230320将单词表导入数据库
好用的数据库表结构导出工具,支持Oracle，MySQL，SQL SERVER，ClickHouse，DB2，sqlite，达梦
huanguta1178的博客
11-03 7152
好用的数据库表结构导出工具 之前遇到公司需要导出表结构的word文档，在网上找了一大堆关于导出数据库表结构成word文档的工具，发现只有一款DBExportDoc，而且还需要操作宏，而且还需要2003的word版本，所以我就自己搞了一个开源工具.(支持 Oracle,MySQL,SQl Server) 该软件基于 1.Springboot2.0.6 2.JDK 1.8+ 运行时需要电脑已经安装j...
C#跨数据库大数据批量插入：SQL Server、Oracle、SQLite与MySQL实现
作者首先指出，虽然人们普遍认为只有SQL Server支持批量插入，但实际上其他数据库也具备这种功能，只是在Oracle的情况下需要使用Oracle.DataAccess驱动。 核心知识点在于一个名为`IBatcherProvider`的接口，它定义...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值