.NET Core Community 爬虫 DotnetSpider

最新推荐文章于 2024-06-29 22:35:03 发布
最新推荐文章于 2024-06-29 22:35:03 发布
阅读量628 收藏 1
点赞数 1
分类专栏： 爬虫 文章标签： 爬虫 DotnetSpider
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanghaolong/article/details/88993525
版权

一、前言

目前市场上爬虫框架有很多，不同语言不同类型的爬虫框架都有，然而在开发预研的时候对于选择那种 
框架对于很多开发者来说尤为头疼； 
本篇主要总结一下市场上主流的开发语言中有哪些主流的爬虫框架，以及爬虫框架的优劣；希望在对你在选择合适爬虫框架中有所帮助。

二、主流语言爬虫框架列表

常用爬虫框架列表

C#JavaPYTHONPHPC/C++
DotnetSpiderApache Nutch2scrapyphpspideropen-source-search-engine
NWebCrawlerwebmagicCrawleyBeanbunCobweb
SmartSpiderHeritrixPortiaPHPCrawlupton
AbotWebCollectorPySpiderphp seleniumwombat
xNetcrawler4jgrab Spidr
AngleSharpSpidermancola Larbin
HtmlAgilityPackSeimiCrawlerpython selenium  
CSQueryjava selenium   
     

三、主流爬虫框架简介

DotnetSpider爬虫框架:

DotnetSpider 至力于打造一个轻量化、高效率、易开发、可管理的一体化爬虫框架。它的核心要素是URL调度、基本的网页内容下载器、基于爬虫实体类的爬虫实现模式、常用数据库的支持、多线程的支持、状态的监控、运行日志、网页端管理。

DotnetSpider 具有相当高的可定制性，支持包括 MSSQL、MySQL、PostgreSQL、MongoDB 在内的多种数据库，文档（目录？）齐全，样例丰富、通俗易懂，同时还自带了 Web Manager（依赖于作者的另一个项目 Scheduler.NET）

项目：https://github.com/dotnetcore/DotnetSpider
Web Manager：https://github.com/zlzforever/DotnetSpider.Hub
Scheduler.NET：https://github.com/zlzforever/Scheduler.NET

授权：GPL-3.0
Wiki：https://github.com/dotnetcore/DotnetSpider/wiki

作者：Zlzforever
GitHub：https://github.com/zlzforever
QQ群：477731655

DotnetSpider 自加入 NCC 起始终坚持不懈的更新、完善，作者帅气、为人风趣幽默；项目日趋成熟、追求完美，于 2018 年 5 月下旬成为 NCC 第三个星数破千的项目，值得祝贺。为此，经 NCC 授权，由 AlexLEWIS 赠送 DotnetSpider 作者 Zlzforever 先生图书一本。所以在.Net下通过使用上述框架可以快速完成爬虫程序的开发。

Harlan60
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
微软官方推荐.NET平台的爬虫软件下载，DotnetSpider.Core下载
06-27
DotnetSpider.Core，该爬虫软件.Net Core平台，我已封装好的，直接可以跑，附带导出报表功能以及写文本，希望能帮助大家
用.NET Core写爬虫爬取电影天堂
01-20
这里也借机简单介绍一下如何基于.NET Core写一个爬虫。 PS：如有偏错，敬请指明… PPS:该去电影院还是多去电影院，毕竟美人良时可无价。 准备工作（.NET Core准备） 首先，肯定是先安装.NET Core咯。下载及安装教程...
发现一款.NET Core开源爬虫神器：DotnetSpider
dotNET跨平台
09-19 2517
没有爬虫就没有互联网！爬虫的意义在于采集大批量数据，然后基于此进行加工/分析，做更有意义的事情。谷歌，百度，今日头条，天眼查都离不开爬虫。去开源中国和Github查询C#的爬虫项目，仅有...
C#测试调用DotnetSpider爬取网页内容
最新发布
gc_2299的博客
06-29 883
C#测试调用DotnetSpider爬取网页内容
.Net Core下跨平台开源爬虫框架——DotnetSpider2.Core
iqifenxia的博客
12-06 1333
　　DotnetSpider，一个.NET标准网络爬虫库。是一个高效、轻量且性能优秀的爬虫框架。 　　 　　Github 　　github/dotnetcore/DotnetSpider 　　开发工具和环境Visual Studio 2021（15.3或更高版本）.NET Core 2.2或更高版本支持的数据环境MySQLRedisSqlServerPostgreSQLMongoDBKafka项目目录 　　我这里使用VS 2021打开，如果打开不成功或者编译错误请升级VS版本并且.net ..
.NET Core 使用 DotnetSpider 抓取页面教程
weixin_42098295的博客
05-31 583
本文主要介绍通过DotnetSpider写少量代码快速的实现网页的抓取。 原文地址：.NET Core 使用 DotnetSpider 抓取页面教程
.NET Core DotnetSpider跨平台的分布式网络爬虫框架介绍
weixin_42098295的博客
07-23 302
DotnetSpider 是一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架，可以帮助 .NET 工程师快速的完成爬虫的开发。本文主要介绍DotnetSpider框架整体流程，以及相关组件及功能介绍。 原文地址：.NET Core DotnetSpider跨平台的分布式网络爬虫框架介绍 ...
.net core的6.0sdk
09-02
.NET Core的6.0 SDK是微软推出的一个跨平台的开发工具套件，它允许开发者在Windows、macOS和Linux等操作系统上构建、测试和部署.NET Core应用程序。此SDK包含了所有必要的组件，使得开发者能够在不同环境下无缝地...
ASP.NET Core 3.1中文教程.pdf
08-12
ASP.NET Core 3.1 中文教程 ASP.NET Core 是 Microsoft 开发的一款免费、开源的 Web 应用程序框架，适用于开发跨平台的 Web 应用程序。本文档提供了 ASP.NET Core 3.1 的中文使用手册，涵盖了ASP.NET Core 的各种...
.NET Core DotnetSpider简单实现爬取页面示例代码
weixin_42098295的博客
07-23 298
DotnetSpider 是一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架，可以帮助 .NET 工程师快速的完成爬虫的开发。本文主要介绍.NET Core中使用DotnetSpider框架，写简单的代码，方便快捷爬取页面，及示例相关示例代码。 原文地址：.NET Core DotnetSpider简单实现爬取页面示例代码 ...
DotNetspider
Hubert Biyo的博客
03-13 2637
1.架构：.NET Core 2.0 控制台应用程序 + DotNetSpider + Nlog日志架构：引用DotNetSpider2.Core 以及 DotNetSpider2.Extension 框架是：.NET Core 2.0 控制台应用程序2.创建实体类 JuzimiListEntity 继承 SpiderEntity类using DotnetSpider.Exten...
开源的.net爬虫Abot.zip
07-16
.Net中有不少开源的爬虫工具，abot就是其中之一。Abot是一个开源的.net爬虫，速度快，易于使用和扩展。项目的地址是 https://github.com/sjdirect/abot 对于爬取的Html，使用的分析工具是CsQuery, CsQuery可以算是.net中实现的Jquery, 可以使用类似Jquery中的方法来处理html页面。CsQuery的项目地址是https://github.com/afeiship/CsQuery一. 对Abot爬虫配置1. 通过属性设置先创建config对象，然后设置config中的各项属性:CrawlConfiguration crawlConfig = new CrawlConfiguration();  crawlConfig.CrawlTimeoutSeconds = 100;  crawlConfig.MaxConcurrentThreads = 10;  crawlConfig.MaxPagesToCrawl = 1000;  crawlConfig.UserAgentString = "abot v1.0 http://code.google.com/p/abot";  crawlConfig.ConfigurationExtensions.Add("SomeCustomConfigValue1", "1111");  crawlConfig.ConfigurationExtensions.Add("SomeCustomConfigValue2", "2222");2. 通过App.config配置直接从配置文件中读取，但是也任然可以在修改各项属性:CrawlConfiguration crawlConfig = AbotConfigurationSectionHandler.LoadFromXml().Convert(); crawlConfig.CrawlTimeoutSeconds = 100;  crawlConfig.MaxConcurrentThreads = 10;3. 应用配置到爬虫对象PoliteWebCrawler crawler = new PoliteWebCrawler(); PoliteWebCrawler crawler = new PoliteWebCrawler(crawlConfig, null, null, null, null, null, null, null);二，使用爬虫，注册各种事件爬虫中主要是4个事件, 页面爬取开始、页面爬取失败、页面不允许爬取事件、页面中的链接不允许爬取事件。下面是示例代码:crawlergeCrawlStartingAsync  = crawler_ProcessPageCrawlStarting;//单个页面爬取开始  crawler.PageCrawlCompletedAsync  = crawler_ProcessPageCrawlCompleted;//单个页面爬取结束  crawler.PageCrawlDisallowedAsync  = crawler_PageCrawlDisallowed;//页面不允许爬取事件  crawler.PageLinksCrawlDisallowedAsync  = crawler_PageLinksCrawlDisallowed;//页面链接不允许爬取事件 void crawler_ProcessPageCrawlStarting(object sender, PageCrawlStartingArgs e) {   PageToCrawl pageToCrawl = e.PageToCrawl;   Console.WriteLine("About to crawl link {0} which was found on page {1}", pageToCrawl.Uri.AbsoluteUri, pageToCrawl.ParentUri.AbsoluteUri); } void crawler_ProcessPageCrawlCompleted(object sender, PageCrawlCompletedArgs e) {   CrawledPage crawledPage = e.CrawledPage;   if (crawledPage.WebException != null || crawledPage.HttpWebResponse.StatusCode != HttpStatusCode.OK)     Console.WriteLine("Crawl of page failed {0}", crawledPage.Uri.AbsoluteUri);   else     Console.WriteLine("Crawl of page succeeded {0}", crawledPage.Uri.AbsoluteUri);   if (string.IsNullOrEmpty(crawledPage.Content.Text))     Console.WriteLine("Page had no content {0}", crawledPage.Uri.AbsoluteUri); } void crawler_PageLinksCrawlDisallowed(object sender, PageLinksCrawlDisallowedArgs e) {   CrawledPage crawledPage = e.CrawledPage;   Console.WriteLine("Did not crawl the links on page {0} due to {1}", crawledPage.Uri.AbsoluteUri, e.DisallowedReason); } void crawler_PageCrawlDisallowed(object sender, PageCrawlDisallowedArgs e) {   PageToCrawl pageToCrawl = e.PageToCrawl;   Console.WriteLine("Did not crawl page {0} due to {1}", pageToCrawl.Uri.AbsoluteUri, e.DisallowedReason); }三， 为爬虫添加多个附加对象Abot应该是借鉴了Asp.net MVC中的ViewBag, 也为爬虫对象设置了对象级别的CrwalBag和Page级别的ViewBag.PoliteWebCrawler crawler = new PoliteWebCrawler(); crawler.CrawlBag.MyFoo1 = new Foo();//对象级别的 CrwalBagcrawler.CrawlBag.MyFoo2 = new Foo(); crawler.PageCrawlStartingAsync  = crawler_ProcessPageCrawlStarting; ...void crawler_ProcessPageCrawlStarting(object sender, PageCrawlStartingArgs e) {   //获取CrwalBag中的对象   CrawlContext context = e.CrawlContext;    context.CrawlBag.MyFoo1.Bar();  //使用CrwalBag    context.CrawlBag.MyFoo2.Bar();      //使用页面级别的    PageBag  e.PageToCrawl.PageBag.Bar = new Bar(); }四，启动爬虫启动爬虫非常简单，调用Crawl方法，指定好开始页面，就可以了。CrawlResult result = crawler.Crawl(new Uri("  if (result.ErrorOccurred)         Console.WriteLine("Crawl of {0} completed with error: {1}",          result.RootUri.AbsoluteUri, result.ErrorException.Message         );          else         Console.WriteLine("Crawl of {0} completed without error.", result.RootUri.AbsoluteUri);五，介绍CsQuery在PageCrawlCompletedAsync事件中, e.CrawledPage.CsQueryDocument就是一个CsQuery对象。这里介绍一下CsQuery在分析Html上的优势:cqDocument.Select(".bigtitle > h1")这里的选择器的用法和Jquery完全相同，这里是取class为.bittitle下的h1标签。如果你能熟练的使用Jquery，那么上手CsQuery会非常快和容易。 标签：网络爬虫  网络蜘蛛
dotnet-DotnetSpider是开源的NET跨平台数据采集爬虫框架
08-15
DotnetSpider是开源的.NET跨平台数据采集爬虫框架。需要 Scheduler，Downloader ，Processor，Pipeline 四部分。
【愚公系列】2023年01月 .NET CORE工具案例-DotnetSpider爬虫框架的简单使用
时光隧道
01-07 9338
DotnetSpider 是一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架，可以帮助 .NET 工程师快速的完成爬虫的开发。爬虫的基本流程是：下载数据（发送 HTTP 请求并获得返回的 resonse) -> 解析返回的文本（可以是 text、json、html) -> 存储解析到的数据，针对这三个主逻辑，我们可以再细下成以下模块。Scheduler 调度器：用于对采集请求的去重、采集顺序控制，默认实现了广度优先和深度优先两种调度器。
.Net开源的跨平台爬虫框架 DotnetSpider
sinolover的专栏
01-07 1233
项目详细介绍 DotnetSpider是开源的.NET跨平台数据采集爬虫框架。需要Scheduler，Downloader ，Processor，Pipeline 四部分。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ...
netcore开源框架_.Net Core下跨平台开源爬虫框架——DotnetSpider2.Core
weixin_39807859的博客
12-23 319
DotnetSpider，一个.NET标准网络爬虫库。是一个高效、轻量且性能优秀的爬虫框架。Githubhttps://github.com/dotnetcore/DotnetSpider开发工具和环境Visual Studio 2017(15.3或更高版本).NET Core 2.2或更高版本支持的数据环境MySQLRedisSqlServerPostgreSQLMongoDBKafka项目目录...
[开源 .NET 跨平台 Crawler 数据采集 爬虫框架: DotnetSpider]
阿斌(Ben)的博客
09-24 536
原文地址： https://www.cnblogs.com/modestmt/p/5480773.html https://github.com/dotnetcore/DotnetSpider
.net使用abot爬虫简单例子
泉诚软件设计工作室
12-20 1520
abot是.net爬虫框架中的一种，Abot是一个开源的.net爬虫，速度快，易于使用和扩展。项目的地址是https://code.google.com/p/abot/。 爬取的html解析，我们使用AngleSharp,项目的地址：https://github.com/AngleSharp/AngleSharp 首先我们需要配置abot private static readonly ...
.net core 爬虫爬取视频
06-09
在 .NET Core 中，可以使用 HttpClient 来进行网络请求，并使用流来保存视频文件。以下是一个简单的示例代码： ```csharp using System; using System.IO; using System.Net.Http; using System.Threading.Tasks; // 下载视频并保存到本地 string videoUrl = "http://example.com/video.mp4"; using (HttpClient client = new HttpClient()) { using (HttpResponseMessage response = await client.GetAsync(videoUrl)) { using (Stream stream = await response.Content.ReadAsStreamAsync()) { // 这里可以对视频流进行处理 // ... // 保存视频到本地 using (FileStream fileStream = new FileStream("video.mp4", FileMode.Create)) { await stream.CopyToAsync(fileStream); } } } } ``` 在上面的代码中，将视频文件的 URL 替换为实际的值即可。需要注意的是，上面的代码只是简单地将视频保存到本地，如果需要对视频流进行处理，可以在注释部分添加相应的代码。此外，上面的代码使用了异步方法，这可以提高程序的性能和响应速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值