利用LINQ读行文本&去重复

 

 1           static   private   void  GetOneText( string  filePath)
 2          {
 3               using  (StreamReader sr  =   new  StreamReader(filePath,Encoding.GetEncoding( " gb2312 " )))
 4              {
 5                  List < string >  listQuery  =   new  List < string > ();
 6                   for ( string  line = sr.ReadLine();line != null ;line = sr.ReadLine())
 7                  {
 8                       if  ( ! string .IsNullOrEmpty(line))
 9                          listQuery.Add(line);
10                  }
11                  var query  =  listQuery.Distinct();
12                   string  newfilePath  =   @" d:\2.txt " ;
13                   using  (FileStream fs  =   new  FileStream(newfilePath, FileMode.Create))
14                   using  (TextWriter tw  =   new  StreamWriter(fs))
15                  {
16                       foreach (var ary  in  query)
17                      {
18                          tw.WriteLine(ary.ToString());
19                      }
20                  }
21              }
22          }
23           static   void  Main( string [] args)
24          {
25               string  filePath  =   @" d:\1.txt " ;
26              GetOneText(filePath);
27          }

 

以前也遇到类似问题，是用System.IO+正则完成的~这个是Linq版本的 记录一下

Encoding.GetEncoding("gb2312")这个主要是防止读取中文时乱码用的。

转载于:https://www.cnblogs.com/leeolevis/archive/2010/08/24/1807693.html