perl删除文件中的重复行

perl删除文件中的重复行             2011-09-28 19:59:57          

分类： Python/Ruby

如果有一个文件data有10G大，但是有好多行都是重复的，需要将该文件中重复的行合并为一行，那么我们需要用什么办法来实现
cat data |sort|uniq > new_data #该方法可以实现，但是你需要花上好几个小时。结果才能出来。
下面是一个使用perl脚本来完成此功能的小工具。原理很简单，创建一个hash，每行的内容为键,值由每行出现的次数来填充，脚本如下;

1. #!/usr/bin/perl
   
2. # Author :CaoJiangfeng
   
3. # Date:2011-09-28
   
4. # Version :1.0
   
5. use warnings;
   
6. use strict;
   
7. 
   
8. my %hash;
   
9. my $script = $0; # Get the script name
   
10. 
    
11. sub usage
    
12. {
    
13.         printf("Usage:\n");
    
14.         printf("perl $script <source_file> <dest_file>\n");
    
15. 
    
16. }
    
17. 
    
18. # If the number of parameters less than 2 ,exit the script
    
19. if ( $#ARGV+1 < 2) {
    
20. 
    
21.         &usage;
    
22.         exit 0;
    
23. }
    
24. 
    
25. 
    
26. my $source_file = $ARGV[0]; #File need to remove duplicate rows
    
27. my $dest_file = $ARGV[1]; # File after remove duplicates rows
    
28. 
    
29. open (FILE,"<$source_file")  or die "Cannot open file $!\n";
    
30. open (SORTED,">$dest_file") or die "Cannot open file $!\n";
    
31. 
    
32. while(defined (my $line = <FILE>))
    
33. {
    
34.         chomp($line);
    
35.         $hash{$line} += 1;
    
36.         #       print "$line,$hash{$line}\n";
    
37. }
    
38. 
    
39. foreach my $k (keys %hash) {
    
40.         print SORTED "$k,$hash{$k}\n";#改行打印出列和该列出现的次数到目标文件
    
41. }
    
42. close (FILE);
    
43. close (SORTED);