DotnetSpider,一个.NET标准网络爬虫库。是一个高效、轻量且性能优秀的爬虫框架。
![a454e4d7a96fde871deb79ca82b17c0e.png](https://i-blog.csdnimg.cn/blog_migrate/daa93dce1553f1af724143a89e7a6b68.jpeg)
Github
https://github.com/dotnetcore/DotnetSpider
开发工具和环境
- Visual Studio 2017(15.3或更高版本)
- .NET Core 2.2或更高版本
支持的数据环境
- MySQL
- Redis
- SqlServer
- PostgreSQL
- MongoDB
- Kafka
项目目录
我这里使用VS 2019打开,如果打开不成功或者编译错误请升级VS版本并且.net core为2.2或以上
![fe0185522e5135841f1592e941fed572.png](https://i-blog.csdnimg.cn/blog_migrate/dac09fccf531533a3f63219d2db682b1.jpeg)
同时项目中还提供了几个简单的实例,可以帮助你一步步熟悉并使用
![8f75e3bec1e7329f7fbf6b6cdf1f5282.png](https://i-blog.csdnimg.cn/blog_migrate/9b4178ef29486aa2568ee61142dfd265.jpeg)
下面是一个最基本的使用案例
![02f97423557c55dc8167be7634c917ae.png](https://i-blog.csdnimg.cn/blog_migrate/07ca91bec252726c3033fcf34fa3bf87.jpeg)
更多案例可以到Github上下载并自行查看,Github上还提供了详细的文档。
![56a7f9bbf4196098989b3a7442a1b62b.png](https://i-blog.csdnimg.cn/blog_migrate/752864a141ab15e1ebc0f98af3f77831.jpeg)
总结
DotnetSpider 是一个轻量、灵活、高性能的的跨平台网络爬虫框架。通过使用消息队列解耦,可以方便的实现分布式功能。对爬虫感兴趣的可以到Github上详细了解。
![5e0f8991f326ca2bf53e140b8ef6729e.png](https://i-blog.csdnimg.cn/blog_migrate/67bfdbae4dd72d22b7837436bb0c8662.jpeg)