介绍两个C#开源网络爬虫

开源网络爬虫很多，上Sourceforge一搜就会有很多，但很少有C#的。今天推荐两个c#开发的网络爬虫

http://www.codeproject.com/KB/IP/Crawler.aspx 老外写的，http通讯采用了socket，效果不错，不过没有处理中文，中文下载会出现乱码，在socket接受部分做一下处理就可以了。这个程序比较 完整，一个基本爬虫所具备的功能都有了，是一个不错的例子。VS2003，.net 1.1 其中有些写法已经过时，需要调整。
http://www.jeffheaton.com/source 还是一个老外写的，csspider.zip。没有仔细研究，遵循LGPL协议，这个同志是专门做爬虫研究的，写过不少书，只不过是英文，看不懂。.net 2.0的。
这里介绍的两个例子都是比较完整的例子，网页下载、分析、多线程、输出都有了。稍微进行以下加工便可得到很好的效果，同时，也可多研究一下实现思路，对自己做爬虫有很大的帮助。