DotnetSpider 至力于打造一个轻量化、高效率、易开发、可管理的一体化爬虫框架。它的核心要素是URL调度、基本的网页内容下载器、基于爬虫实体类的爬虫实现模式、常用数据库的支持、多线程的支持、状态的监控、运行日志、网页端管理。
DotnetSpider 具有相当高的可定制性,支持包括 MSSQL、MySQL、PostgreSQL、MongoDB 在内的多种数据库,文档(目录?)齐全,样例丰富、通俗易懂,同时还自带了 Web Manager(依赖于作者的另一个项目 Scheduler.NET)
项目:https://github.com/dotnetcore/DotnetSpider
Web Manager:https://github.com/zlzforever/DotnetSpider.Hub
Scheduler.NET:https://github.com/zlzforever/Scheduler.NET
授权:GPL-3.0
Wiki:https://github.com/dotnetcore/DotnetSpider/wiki
作者:Zlzforever
GitHub:https://github.com/zlzforever
QQ群:477731655
DotnetSpider 自加入 NCC 起始终坚持不懈的更新、完善,作者帅气、为人风趣幽默;项目日趋成熟、追求完美,于 2018 年 5 月下旬成为 NCC 第三个星数破千的项目,值得祝贺。为此,经 NCC 授权,由 AlexLEWIS 赠送 DotnetSpider 作者 Zlzforever 先生图书一本。
一本游戏力,祝你家小萝莉健康茁壮成长。
本项目的作者将在 6 月 30 日 NCC 小聚会上做专题演讲《大话网络爬虫》。
演讲将采用录播方式,在事后为大家奉上。
如果您有项目想加入我们,欢迎来 http://github.com/dotnetcore/home 提请
原文地址:https://www.cnblogs.com/forerunner/p/ncc-dotnetspider-with-over-thousand-stars.html
.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com