java爬虫面试题_.NET Core开源爬虫神器：DotnetSpider

本文已收录：.NET Core开发精选文章目录,持续更新，欢迎投稿！

没有爬虫就没有互联网！

爬虫的意义在于采集大批量数据，然后基于此进行加工/分析，做更有意义的事情。谷歌，百度，今日头条，天眼查都离不开爬虫。

去开源中国查询C#的爬虫项目，仅有几个非常简单或是几年没有更新的项目。

而单纯性能上.NET对比JAVA，PYTHON并没有处于弱势，反而有开发上的优势（得益于世界上最强大的IDE)。爬虫性能瓶颈大多是在并发下载（网速）、IP池，那么为什么.NET没有一个强大的爬虫框架呢？

说真的我不知道，可能爬虫框架核心上比较简单，也可能.NET的开发人员没有别的语言的开发人员勤奋，或是.NET的开源氛围没有别的语言高。

所以，今天推荐一个.NET 爬虫的开源项目：DotnetSpider

开源项目地址：

https://github.com/dotnetcore/DotnetSpider

免责申明：本框架如同 Python 下著名的 Scrapy 一样只是为了帮助开发人员简化开发流程、提高开发效率，请勿使用此框架做任何违法国家法律的事情。使用者所做任何事情也与本框架的作者无关。

设计图