netcore开源框架_.Net Core下跨平台开源爬虫框架——DotnetSpider2.Core

DotnetSpider，一个.NET标准网络爬虫库。是一个高效、轻量且性能优秀的爬虫框架。

Github

https://github.com/dotnetcore/DotnetSpider

开发工具和环境

• Visual Studio 2017(15.3或更高版本)
• .NET Core 2.2或更高版本

支持的数据环境

• MySQL
• Redis
• SqlServer
• PostgreSQL
• MongoDB
• Kafka

项目目录

我这里使用VS 2019打开，如果打开不成功或者编译错误请升级VS版本并且.net core为2.2或以上

同时项目中还提供了几个简单的实例，可以帮助你一步步熟悉并使用

下面是一个最基本的使用案例

更多案例可以到Github上下载并自行查看，Github上还提供了详细的文档。

总结

DotnetSpider 是一个轻量、灵活、高性能的的跨平台网络爬虫框架。通过使用消息队列解耦，可以方便的实现分布式功能。对爬虫感兴趣的可以到Github上详细了解。