Magicodes.IE 在100万数据量下导入导出性能测试

最新推荐文章于 2022-03-21 19:37:39 发布
最新推荐文章于 2022-03-21 19:37:39 发布
阅读量218 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq512982554/article/details/106537346
版权

原文作者：HueiFeng

前言

目前Magicodes.IE更新到了2.2.3，感谢大家的支持，同时建议大家在使用过程中如果遇到一些问题或者说需要一些额外的功能可以直接提issues，当然更建议大家提PR。

近期更新

2020.05.24

  • 【Nuget】版本更新到2.2.2

  • 【Excel导入】增加了stream导入扩展方法

  • 【Excel导出】增加了内容居中（单列居中、整表居中）

  • 【导出】对一些中间件代码进行了修复及优化

2020.05.16

  • 【Nuget】版本更新到2.2.1

  • 【PDF导出】对模板引擎进行升级更新

2020.05.12

  • 【Nuget】版本更新到2.2.0

  • 【Excel模板导出】支持导出字节

  • 【文档】Magicodes.IE Csv导入导出

  • 【Excel导入导出】修复标注的添加问题

  • 【导出】ASP.NET Core Web API 中使用自定义格式化程序导出Excel、Pdf、Csv等内容 #64

  • 【导入导出】支持使用System.ComponentModel.DataAnnotations命名空间下的部分特性来控制导入导出 #63

性能测试

电脑配置以及环境如下所示：

 
 
 
  
BenchmarkDotNet=v0.12.1, OS=Windows 10.0.18363.836 (1909/November2018Update/19H2)
AMD Ryzen 5 3600X, 1 CPU, 12 logical and 6 physical cores
.NET Core SDK=5.0.100-preview.4.20258.7
  [Host]     : .NET Core 3.1.4 (CoreCLR 4.700.20.20201, CoreFX 4.700.20.22101), X64 RyuJIT
  Job-OONFAJ : .NET Framework 4.8 (4.8.4180.0), X64 RyuJIT
  Job-YIUEXF : .NET Core 2.2.8 (CoreCLR 4.6.28207.03, CoreFX 4.6.28208.02), X64 RyuJIT
  Job-LZHMKS : .NET Core 3.1.4 (CoreCLR 4.700.20.20201, CoreFX 4.700.20.22101), X64 RyuJIT
​
IterationCount=5  LaunchCount=1  WarmupCount=1  
 
 
 
 
​
 
 
Excel & Csv 导出
 
 
Excel导出如下所示：
 
 
MethodJobRuntimeRowsCountMeanErrorStdDev
ExportExcelAsByteArrayTestJob-OONFAJ.NET 4.6.110000153.1 ms5.52 ms0.85 ms
ExportExcelAsByteArrayTestJob-YIUEXF.NET Core 2.210000138.0 ms1.53 ms0.40 ms
ExportExcelAsByteArrayTestJob-LZHMKS.NET Core 3.110000143.0 ms9.86 ms1.53 ms
ExportExcelAsByteArrayTestJob-OONFAJ.NET 4.6.11200001,904.2 ms98.37 ms25.55 ms
ExportExcelAsByteArrayTestJob-YIUEXF.NET Core 2.21200001,662.8 ms132.04 ms20.43 ms
ExportExcelAsByteArrayTestJob-LZHMKS.NET Core 3.11200001,636.1 ms99.64 ms25.88 ms
ExportExcelAsByteArrayTestJob-OONFAJ.NET 4.6.12400003,688.3 ms58.52 ms15.20 ms
ExportExcelAsByteArrayTestJob-YIUEXF.NET Core 2.22400003,268.1 ms138.16 ms21.38 ms
ExportExcelAsByteArrayTestJob-LZHMKS.NET Core 3.12400003,223.9 ms70.93 ms10.98 ms
ExportExcelAsByteArrayTestJob-OONFAJ.NET 4.6.15000007,723.4 ms179.06 ms46.50 ms
ExportExcelAsByteArrayTestJob-YIUEXF.NET Core 2.25000006,959.7 ms481.61 ms125.07 ms
ExportExcelAsByteArrayTestJob-LZHMKS.NET Core 3.15000006,833.2 ms331.74 ms86.15 ms
ExportExcelAsByteArrayTestJob-OONFAJ.NET 4.6.1100000015,443.7 ms582.64 ms151.31 ms
ExportExcelAsByteArrayTestJob-YIUEXF.NET Core 2.2100000013,798.9 ms207.09 ms32.05 ms
ExportExcelAsByteArrayTestJob-LZHMKS.NET Core 3.1100000013,484.1 ms424.85 ms110.33 ms
 
 
Csv导出如下所示：
 
 
MethodJobRuntimeRowsCountMeanErrorStdDev
ExportCsvAsByteArrayTestJob-SRSOYE.NET 4.6.11000030.43 ms2.493 ms0.647 ms
ExportCsvAsByteArrayTestJob-WLDFBY.NET Core 2.21000030.12 ms5.981 ms1.553 ms
ExportCsvAsByteArrayTestJob-JSEPRQ.NET Core 3.11000024.53 ms0.142 ms0.022 ms
ExportCsvAsByteArrayTestJob-SRSOYE.NET 4.6.1120000345.51 ms16.385 ms4.255 ms
ExportCsvAsByteArrayTestJob-WLDFBY.NET Core 2.2120000330.03 ms16.025 ms4.162 ms
ExportCsvAsByteArrayTestJob-JSEPRQ.NET Core 3.1120000287.98 ms11.898 ms3.090 ms
ExportCsvAsByteArrayTestJob-SRSOYE.NET 4.6.1240000687.57 ms10.379 ms2.695 ms
ExportCsvAsByteArrayTestJob-WLDFBY.NET Core 2.2240000656.00 ms13.741 ms2.126 ms
ExportCsvAsByteArrayTestJob-JSEPRQ.NET Core 3.1240000560.43 ms12.721 ms3.304 ms
ExportCsvAsByteArrayTestJob-SRSOYE.NET 4.6.15000001,478.88 ms31.074 ms8.070 ms
ExportCsvAsByteArrayTestJob-WLDFBY.NET Core 2.25000001,379.52 ms20.652 ms5.363 ms
ExportCsvAsByteArrayTestJob-JSEPRQ.NET Core 3.15000001,182.48 ms39.358 ms10.221 ms
ExportCsvAsByteArrayTestJob-SRSOYE.NET 4.6.110000002,918.99 ms43.023 ms6.658 ms
ExportCsvAsByteArrayTestJob-WLDFBY.NET Core 2.210000002,751.29 ms19.970 ms5.186 ms
ExportCsvAsByteArrayTestJob-JSEPRQ.NET Core 3.110000002,332.39 ms57.988 ms8.974 ms
 
 
Excel & Csv 导入
 
 
Excel导入如下所示：
 
 
MethodJobRuntimeRowsCountMeanErrorStdDev
ImportByStreamTestJob-URKTYJ.NET 4.6.110000711.4 μs136.2 μs35.37 μs
ImportByStreamTestJob-AFBGUZ.NET Core 2.210000746.2 μs131.8 μs20.40 μs
ImportByStreamTestJob-DUXAFG.NET Core 3.110000792.4 μs186.5 μs48.42 μs
ImportByStreamTestJob-URKTYJ.NET 4.6.11200002,297.6 μs181.3 μs47.08 μs
ImportByStreamTestJob-AFBGUZ.NET Core 2.21200002,139.5 μs204.5 μs53.12 μs
ImportByStreamTestJob-DUXAFG.NET Core 3.11200002,035.8 μs304.8 μs47.17 μs
ImportByStreamTestJob-URKTYJ.NET 4.6.12400005,378.2 μs887.9 μs230.59 μs
ImportByStreamTestJob-AFBGUZ.NET Core 2.22400005,345.6 μs989.9 μs257.08 μs
ImportByStreamTestJob-DUXAFG.NET Core 3.12400004,672.5 μs1,004.5 μs260.86 μs
ImportByStreamTestJob-URKTYJ.NET 4.6.150000011,336.6 μs657.3 μs170.69 μs
ImportByStreamTestJob-AFBGUZ.NET Core 2.250000010,833.4 μs952.9 μs247.45 μs
ImportByStreamTestJob-DUXAFG.NET Core 3.150000010,525.7 μs561.0 μs145.69 μs
ImportByStreamTestJob-URKTYJ.NET 4.6.1100000021,965.7 μs1,058.5 μs274.88 μs
ImportByStreamTestJob-AFBGUZ.NET Core 2.2100000020,612.1 μs628.2 μs163.14 μs
ImportByStreamTestJob-DUXAFG.NET Core 3.1100000020,451.1 μs3,807.7 μs988.84 μs
 
 
Csv导入如下所示：
 
 
MethodJobRuntimeRowsCountMeanErrorStdDev
ImportByStreamTestJob-OPUXWE.NET 4.6.110000294.1 μs1.99 μs0.31 μs
ImportByStreamTestJob-OVPAAE.NET Core 2.210000283.7 μs3.54 μs0.55 μs
ImportByStreamTestJob-AMXXYD.NET Core 3.110000284.5 μs1.77 μs0.46 μs
ImportByStreamTestJob-OPUXWE.NET 4.6.11200002,116.1 μs13.28 μs2.05 μs
ImportByStreamTestJob-OVPAAE.NET Core 2.21200001,855.8 μs80.59 μs20.93 μs
ImportByStreamTestJob-AMXXYD.NET Core 3.11200001,849.3 μs186.63 μs48.47 μs
ImportByStreamTestJob-OPUXWE.NET 4.6.12400005,121.9 μs270.99 μs70.37 μs
ImportByStreamTestJob-OVPAAE.NET Core 2.22400004,448.3 μs84.91 μs13.14 μs
ImportByStreamTestJob-AMXXYD.NET Core 3.12400004,301.9 μs78.77 μs20.46 μs
ImportByStreamTestJob-OPUXWE.NET 4.6.150000011,245.2 μs120.46 μs18.64 μs
ImportByStreamTestJob-OVPAAE.NET Core 2.250000010,214.1 μs113.20 μs29.40 μs
ImportByStreamTestJob-AMXXYD.NET Core 3.150000010,460.1 μs90.90 μs23.61 μs
ImportByStreamTestJob-OPUXWE.NET 4.6.1100000021,807.0 μs299.03 μs46.28 μs
ImportByStreamTestJob-OVPAAE.NET Core 2.2100000019,830.9 μs186.01 μs48.30 μs
ImportByStreamTestJob-AMXXYD.NET Core 3.1100000020,051.3 μs395.98 μs102.83 μs
 
 
Reference
 
 
https://github.com/dotnetcore/Magicodes.IE
 
 
 
 
 
原文作者：HueiFeng
 


                

        

        

    




    

      

        

            

              
                
                  magicodes
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
ASP.NET开源导入导出库Magicodes.IE完成Csv导入导出的方法

				
			

			

				

					01-19
				

			

		

		

			
				
本章主要说明如何使用Magicodes.IE.Csv进行Csv导入导出. 关于Magicodes.IE  导入导出通用库，通过导入导出DTO模型来控制导入和导出，支持Excel、Word、Pdf和Html。 GitHub地址：...

			
		

	



                

              
                



	

		

			

				
					
Magicodes.IE：导入导出通用库，支持Dto导入导出，模板导出，花式导入以及动态导入，支持Excel，Csv，Word，Pdf和HTML。导入导出通用库，支持Dto导入导出，模板导出，花式导出和动态导出，支持Excel，Csv，Word，Pdf和HTML

				
			

			

				

					02-03
				

			

		

		

			
				
Magicodes.IE |概述导入导出通用库，支持Dto导入导入，模板导出，花式导出以及动态导出，支持Excel，Csv，Word，Pdf和HTML。 GitHub： :编码云（手动同步，不维护）： : 初步＃状态完成时间初步情况 :hot_beverage:...

			
		

	



                


  
              

                


	

		

			

				
					
Magicodes.IE已支持导出Word、Pdf和Html

				
			

			

				

					dotNET跨平台
				

				

					10-10
					
					462
					
				

			

		

		

			
				
关于Magicodes.IE导入导出通用库，通过导入导出DTO模型来控制导入和导出，支持Excel、Word、Pdf和Html。GitHub地址：https://gith...

			
		

	





	

		

			

				
					
Magicodes.IE在.NET Core中通过请求头导出多种格式文件

					
热门推荐

				
			

			

				

					冯辉
				

				

					07-07
					
					1万+
					
				

			

		

		

			
				
前言
在2.2里程碑中我们增加了一些新的功能,正如标题所写通过请求头进行导出我们不同格式的文件.下面我们来看一下如何使用.通过这种方式无论是对我们的数据多用途，还是说对我们的数据校验都做到了轻松易配。
同时我们也将在本周发布2.3版本，另外3.0版本我们将进行一次大的性能提升。3.0版本我们将对Razor引擎以及导出引擎进行更换，包括对所有代码的重构，这是值得期待的。
上周我们发布了2.2.5版本更新如下：


【Nuget】版本更新到2.2.5


【Excel导出】增加分栏、分sheet、追加rows导

			
		

	



		

			
		



	

		

			

				
					
导出excel功能(解决大数据量问题)

				
			

			

				

					进击30K的专栏
				

				

					09-28
					
					1万+
					
				

			

		

		

			
				
 

目前我们做的系统，导出excel功能都存在一个问题,如果数据量一大(比如上万条以上的记录),如果用传统的方式导出excel速度都很慢,甚至最终导致内存益出,最终死机;(请大伙最好都确认一下各自负责的系统存在的问题)
例如:三明移动公司的积分系统,因需求所需,客户如果要导出20多万条记录的话，系统速度都很慢,最终导致内存益出死机;原本以为是频繁把数据放在集合的原因，可是我又有分页觉得不是主要原...

			
		

	





	

		

			

				
					
大数据量导出到Excel时需要注意的问题 

				
			

			

				

					xiaomin1991222的专栏
				

				

					02-29
					
					312
					
				

			

		

		

			
				

大数据量导出到Excel时需要注意的问题 1、现象：问题描述 我们发现当统计的数量超大时候，在统计总量明细时，导出到Excel表格的时候就会抛出如下表格的异常 (1)内存溢出异常 javax.servlet.ServletException: Servlet execution threw an exception com.huawei.insa2.filter.EncodingFilter.d...

			
		

	





	

		

			

				
					
【Azure Data Platform】Dedicated SQL Pool——导入性能测试（4）——总结

				
			

			

				

					MVP黄钊吉（發糞塗牆）
				

				

					03-21
					
					540
					
				

			

		

		

			
				
本文属于【Azure Data Platform】系列。
接上文：【Azure Data Platform】Dedicated SQL Pool——导入性能测试（3）——Copy

首先，我们需要知道SQL DW是一个MPP的系统。关于导入，为了最大限度地提高负载性能，负载会话应利用 MPP 体系结构直接连接到计算。SQL DW的每个计算节点（compute node）通过DMS服务，借助HDFS bridge来访问存储上的数据。


这个过程，跟DWU有很大关系，如下图所示，每个DWU都有对应的read.

			
		

	





	

		

			

				
					
基于Java的多线程大数据量导出与导入文件设计源码

				
			

			

				

					05-28
				

			

		

		

			
				
本项目是基于Java的多线程大数据量导出与导入文件设计源码，包含30个...系统专注于提供百万级大数据量处理功能，支持数据导出、数据导入和测试数据生成等功能，为用户提供了一个稳定、高效的处理大数据量的解决方案。

			
		

	





	

		

			

				
					
2020-12-16

				
			

			

				

					weixin_48510628的博客
				

				

					12-16
					
					119
					
				

			

		

		

			
				
matlab
今天个人学了一些基本操作，记录一下
i=imread(‘路径和图片名加属性’);
imshow(i)
（导入图片并且显示）后面加title(‘标题’);可以有标题
BW = im2bw(i(:,:,3),0.6);
se = strel(‘disk’,4)
figure;imshow(BW);title(‘去除背景’);
（可以去除背景）
gdate=rgb2gray(i);得到灰度化矩阵，用imshow（gdate）可以看灰度化图片
J=i+100;
figure,imshow(J); ti

			
		

	





	

		

			

				
					
ASP外观专利图像检索平台(源代码+论文).rar

				
			

			

				

					07-21
				

			

		

		

			
				
ASP外观专利图像检索平台(源代码+论文)

			
		

	





	

		

			

				
					
C++课程设计：电煤气管理系统【源码+文档】

				
			

			

				

					07-21
				

			

		

		

			
				
C++课程设计：电煤气管理系统【源码+文档】
本程序是一个水电气管理信息系统，能够对高校的水电气费用进行管理, 包括了成员的基本信息，如学号、编号、姓名、成员水电气的用量等。程序的用途包括缴纳水电气费、查询一个同学水电气费用量、查看所有同学的缴费情况、增加学生信息、删除学生信息、退出系统等。在设计时也考虑到学生和教师在用水电气时的不同，学生可以免费使用一定额度的水电气，超过这个额度的以后必须付费，且付费部分水电气费的价格要高于教工的收费标准，该措施的实行是为了鼓励同学们节约资源，以免造成不必要的资源浪费。该软件主要是为了学校的管理人员提供便捷，以更快的完成水电气费用的收缴。该软件本着简洁明了，实用稳定为一体进行设计。
系统将实现以下功能：
（1）实现对用户信息的录入；
（2）实现水电煤气数据的录入；
（3）实现计算并查询用户应缴费用，查询未缴纳费用的名单；
（4）实现对人员的删除和添加；

			
		

	





	

		

			

				
					
ASP+ACCESS网上动态同学录系统（源代码+论文+系统说明+答辩PPT）.rar

				
			

			

				

					07-21
				

			

		

		

			
				
ASP+ACCESS网上动态同学录系统（源代码+论文+系统说明+答辩PPT）

			
		

	





	

		

			

				
					
avaloniassification-mas笔记

					
最新发布

				
			

			

				

					07-21
				

			

		

		

			
				
avalonia

			
		

	





	

		

			

				
					
ASP+ACCESS学生排课管理系统毕业设计(源代码+论文).rar

				
			

			

				

					07-21
				

			

		

		

			
				
ASP+ACCESS学生排课管理系统毕业设计(源代码+论文)

			
		

	





	

		

			

				
					
ASP+ACCESS在线教育系统设计(源代码+论文).rar

				
			

			

				

					07-21
				

			

		

		

			
				
ASP+ACCESS在线教育系统设计(源代码+论文)

			
		

	





	

		

			

				
					
中国软件杯A8赛题.zip

				
			

			

				

					07-21
				

			

		

		

			
				
【项目资源】：包含前端、后端、移动开发、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源，毕业设计等各种技术项目的源码。包括C++、Java、python、web、C#、EDA等项目的源码。
【适用人群】：适用于希望学习不同技术领域的初学者或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
【附加价值】：项目具有较高的学习借鉴价值，也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说，可以在这些基础代码上进行修改和扩展，实现其他功能。
【沟通交流】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。鼓励下载和使用，并欢迎大家互相学习，共同进步。


			
		

	





	

		

			

				
					
Magicodes.IE.Converter 是需要引用那个包

				
			

			

				

					09-21
				

			

		

		

			
				
### 回答1： Magicodes.IE.Converter 是一个 .NET ...总之，使用 Magicodes.IE.Converter 需要引用 Magicodes.IE 这个包，通过引入这个包，你可以轻松地处理 Excel 文档的导入和导出，并在其中进行数据类型的转换操作。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值