【C#】57. .Net中的并发集合——ConcurrentBag
这个是一个直接的爬虫可伸缩应用,虽然大致看明白了,但是真的用到实际中,如何处理超时和网络连接失败呢?
Crawling类型:用于标示需要爬取的网页的URL,以及是由哪个爬虫找到的。
class Crawling
{
public string UrlToCrawl { get; set; }
public string ProducerName { get; set; }
}
翻译
2016-12-13 11:15:44 ·
7271 阅读 ·
0 评论