C# VS2010 txt去重（针对数字类型）

已于 2022-07-30 16:18:58 修改
阅读量423 收藏 2
点赞数 1
分类专栏： C# VS2010 文章标签： c# visualstudio 开发语言
于 2022-07-30 16:17:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beichuanshangren/article/details/126073270
版权
该博客详细介绍了如何处理TXT文件，包括读取每行数据，进行两次去重操作，最终导出去重后的数据。代码示例展示了如何实现这一过程，涉及数据类型的判断和转换，以及数据的保存。处理后数据类型1和2分别从原始大量数据减少到特定数量，表明去重效果显著。
摘要由CSDN通过智能技术生成

1、思想

①读取TXT文件中的每一行数据。

②（第一次去重）判读是否是数字类型并保留每一行中不同的数据，存入List<String>表中，用S1表示。

③（第二次去重）对S1中的数据进行去重，并新建List<String>表S2，将第二次去重后的数据存入S2中。

④将去重后的数据以TXT格式导出。

2、处理数据

（1）数据类型1

①处理前

 ②处理后

 （2）数据类型2

 ①处理前（计700万条数据）

 ②处理后（计3000+）

 3、相关代码


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  HPUJQT
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
                
  • 
                  
                    打赏
                    
                  
                  
    打赏
    
                
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
TXT文件数据查重去重工具

				
			

			

				

					03-28
				

			

		

		

			
				
TXT文件数据查重去重工具是采用微软C#语言开发，使用多线程对数据进行查重去重处理，处理100万的数据不到1.5秒，软件界面简洁美观，操作简单，软件大小只有70KB，软件提示友好，比如在操作日志上会实时显示正在处理那个文件，还会将重复的数据显示在重复数据列表中，同时软件还支持一次处理一个或多个文件，对文件的大小没有限制，软件会自动按照原来的文件名在程序同目录下生成没有重复数据的文件，当然最关键的还是免费、免费、永久免费，没有任何套路。

			
		

	



                

              
                



	

		

			

				
					
C# 读取一个文件夹中多个txt,去重正则化后重新写入，要求每个不能超过二十万行

				
			

			

				

					02-08
				

			

		

		

			
				
本程序主要采用C#，完成一个文件夹中的多个txt读取，本人的测试时，读取的是多个手机号码，每一个号码占一行，对多个文档中的手机号码进行正则化，并去重复处理，重新写入多个txt,中，每个txt要求不超过二十万行。

			
		

	



                


  
              

                


	

		

			

				
					
办公软件好帮手：TXT文本编辑器一键删除文本文件中的重复行内容，提高工作效率的方法

					
最新发布

				
			

			

				

					hby920967810的博客
				

				

					06-24
					
					571
					
				

			

		

		

			
				
无论你是需要处理海量TXT文本文档、删除重复内容、拆分合并文档还是进行其他文本批量操作，它都能轻松满足你的需求。今天，我要向大家推荐一款强大的文本处理软件——首助编辑高手，它不仅能帮你轻松应对TXT文本文档的处理挑战，还能让你的工作效率翻倍！别担心，首助编辑高手来帮你！4.在“删除行”选项中，软件提供了多种特定行的选择方式，其中包括了“重复行”这一选项。这意味着，你可以一键删除文档中所有重复的行，让文档内容更加精炼、准确。这样，在删除重复行后，你可以直接保存修改后的文档，覆盖原文件，无需手动替换。

			
		

	





	

		

			

				
					
C#将txt文档中的重复记录删除。

				
			

			

				

					12-27
				

			

		

		

			
				
winform中，浏览一个文件，将txt文件中的重复记录去掉。
首先将txt文档中的记录，映射到DataTable中，然后进行处理。

			
		

	



		

			
		



	

		

			

				
					
txt文件去重

				
			

			

				

					qq_43312665的博客
				

				

					04-01
					
					394
					
				

			

		

		

			
				
【代码】txt文件去重。

			
		

	





	

		

			

				
					
txt文本去重神器

				
			

			

				

					01-07
				

			

		

		

			
				
txt文本去重神器,可随身携带,上千万数据去重不到20秒.

			
		

	





	

		

			

				
					
txt去重

				
			

			

				

					weixin_33717298的博客
				

				

					10-05
					
					145
					
				

			

		

		

			
				
#encoding:utf-8
obuff=[]
repeat=0
path=raw_input('pleaseinputyourpath:')
forlninopen(path):
iflninobuff:
	repeat+=1
continue
obuff.app...

			
		

	





	

		

			

				
					
txt文本去重

				
			

			

				

					03-26
				

			

		

		

			
				
利用Java中hashmap 实现对TXT文本按行去重，进行去重操作后内容顺序不改变。

			
		

	





	

		

			

				
					
C#中datatable去重的方法

				
			

			

				

					09-04
				

			

		

		

			
				
以下将详细介绍两种在C#中实现DataTable去重的方法。  ### 方法一：利用数据库查询去除重复  如果你的数据来源于数据库，可以直接在SQL查询语句中使用`DISTINCT`关键字来去除重复行。这是一个非常直观且高效的方法。...

			
		

	





	

		

			

				
					
C# Dictionary去重算法

				
			

			

				

					10-08
				

			

		

		

			
				
总之，C# 中的 `Dictionary` 结构本身不支持值去重，但我们可以通过自定义包装类并重写关键的相等性方法来实现这一功能。这种方法利用了 `Dictionary` 的哈希表特性，可以在保持高效查找性能的同时，有效地避免了值...

			
		

	





	

		

			

				
					
C# 实现Distinct将对象按条件去重

				
			

			

				

					01-19
				

			

		

		

			
				
平时，我们将c#中的Distinct大多用于对数组去重，一般数组为基础的数据类型，例如 int,string.也可以用于对象去重，我们看看C#对Distinct方法的定义：  有重载，第一个参数都加了this,是拓展方法，有关拓展方法，请...

			
		

	





	

		

			

				
					
Java去重txt文件内容（按行）

				
			

			

				

					11-25
				

			

		

		

			
				
Java去重TXT文件内容，两个TXT文件内容对比去重复，使用了Java8的新特性，所以只能Java8以上即可使用

			
		

	





	

		

			

				
					
C# Txt文本去重复和交叉数据

				
			

			

				

					01-19
				

			

		

		

			
				
如果Txt数据太多，里面可能有重复 就需要去掉重复的数据，减少服务器负担。

			
		

	





	

		

			

				
					
文本去重工具

				
			

			

				

					05-23
				

			

		

		

			
				
工作中常常需要处理大量的客户手机号、客户QQ号、邮箱还有一些大量的文本数据。 如果只是几下kb的数据量去重，处理起来是很容易也很快的，网上有很多小软件都可以去重。 思途高效文本去重工具最大的不同点是大量数据处理时的高效。如果数据多达几兆或者几十几百兆时，去重将是一个大难题了。 我们在自己工作中遇到要处理几十兆数据时，网上那些工作，处理一次就需

			
		

	





	

		

			

				
					
c#深度学习-PaddleOCRSharp数字识别demo

				
			

			

				

					09-22
				

			

		

		

			
				
PaddleOCRSharp的例子，直接运行识别数字，注释详细，用于自学深度学习。PaddleOCRSharp是基于PaddleOCR的C++代码修改并封装的.NET工具类库，支持文本识别、文本检测、基于文本检测结果的统计分析的表格识别功能。 ...

			
		

	





	

		

			

				
					
C#实现大数据量TXT文本数据快速高效去重

				
			

			

				

					weixin_33739523的博客
				

				

					10-20
					
					1077
					
				

			

		

		

			
				
原文 C#实现大数据量TXT文本数据快速高效去重
对几千万的TXT文本数据进行去重处理，查找其中重复的数据，并移除。尝试了各种方法，下属方法是目前尝试到最快的方法。以下代码将重复和不重复数据进行分文件存放，提升效率的关键是用到了HashSet。
                TextReader reader = File.OpenText(m_dataFilePath);
       ...

			
		

	





	

		

			

				
					
txt文件去重，可自动排序，筛选导出新txt文件

				
			

			

				

					
				

				

					09-07
					
					1049
					
				

			

		

		

			
				
txt文件去重，可自动排序，筛选导出新txt文件。可以针对一行一个的文件去重，重新排序

			
		

	





	

		

			

				
					
文本去重

				
			

			

				

					sinat_34479648的博客
				

				

					01-04
					
					868
					
				

			

		

		

			
				
 删除根据文章标题删除重复文章：

eg：头脑风暴 —— 创新药投资及研发成功率的思考 

       头脑风暴丨创新药投资及研发成功率的思考

       迈博斯生物与奕安济世生物药业合并成立Transcenta Holding，加速推进建设国际化整合型生物制药公司

       官宣！迈博斯生物与奕安济世生物药业合并成立 Transcenta Holding，加速推进建设国际化整合型生物...

			
		

	





	

		

			

				
					
TXT文本去重 平均去重速度55万条/秒

				
			

			

				

					zhengzizhi的专栏
				

				

					12-15
					
					1062
					
				

			

		

		

			
				
TXT文本去重 TXT文本合并 TXT文件求并集
https://blog.csdn.net/zhengzizhi/article/details/72615021
测试数据大小：20亿行130GB的数据只需60分钟 平均去重速度：2000000000(行) ÷ 3600(秒) =‬ 555555(行/秒)≈55万行/秒
...

			
		

	





	

		

			

				
					
C# VS2010从入门到精通全指南

				
			

			

				

					
				

			

		

		

			
				
《C# VS2010入门到精通》是一本由Microsoft Press出版的专业教程，作者是John Sharp。本书详细介绍了如何使用Microsoft Visual C# 2010进行软件开发，从初学者的基础知识到高级技术的深入探讨，旨在帮助读者掌握这门...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
HPUJQT

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值