.NET 分布式爬虫框架

于 2024-06-08 07:30:00 发布
阅读量854 收藏 6
点赞数 3
分类专栏： .NET/C#中大型项目开发 文章标签： .net 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/alan200995/article/details/139401531
版权

🏆作者：科技、互联网行业优质创作者
🏆专注领域：.Net技术、软件架构、人工智能、数字化转型、DeveloperSharp、微服务、工业互联网、智能制造
🏆欢迎关注我（Net数字智慧化基地），里面有很多高价值技术文章，是你刻苦努力也积累不到的经验，能助你快速成长。升职+涨薪！！

RuiJi.Net

RuiJi.Net 是一个可以分布式部署的爬虫框架，使用 C# 开发，项目的最终目的是可以对大量的网站进行自动更新检查及抓取。

RuiJi.Net 支持自管理Cookie,并且自动维护不同浏览器标识的Cookie，这意味着您可以在使用独立IP的基础上，虚拟出任意多的Cookie. RuiJi.Net 同样支持使用抓取服务器上的IP进行轮询抓取，并且也可以使用代理服务器。

RuiJi.Net具有自己的抽取模型，称为RuiJi Expression（RuiJi表达式），您可以使用RuiJi表达式定义抽取模型，并对需要提取的元数据进行精确清洗。

RuiJi 表达式可以存储为文本文档、数据库及高速缓存中。

如何使用

使用本地 IP

var crawler = new RuiJiCrawler();
var request = new Request("https://www.baidu.
了解本专栏 订阅专栏 解锁全文 超级会员免费看
数字智慧化基地
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
c# 分布式爬虫 学习框架
11-15
本项目以C#作为编程语言，构建了一个学习框架，旨在帮助开发者理解并掌握分布式爬虫的设计与实现。 C#是一种强类型、面向对象的编程语言，由微软公司开发，广泛应用于Windows平台的应用程序开发。在C#中构建分布式...
【初码干货】关于.NET玩爬虫这些事
01-28 436
这几天在微信群里又聊到.NET可以救中国但是案例太少不深的问题，我说.NET玩爬虫简直就是宇宙第一，于是大神朱永光说，你为何不来写一篇总结一下？ 那么今天就全面的来总结一下，在.NET生态下，如何玩爬虫 关于爬虫 从搜索引擎开始，爬虫应该就出现了，爬的对象当然也就是网页URL，在很长一段时间内，爬虫所做的事情就是分析URL、下载WebServer返回的HTML、分析HTML内容、构建H...
.net爬虫使用HtmlAgilityPack爬取网络数据
wenshui147258的博客
09-15 1557
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 #pandas_19 二、使用步骤 1.引入库 2.读入数据 总结 前言 最近在研究python爬虫，发现没有网上传的那么神奇，其实也只是python中爬虫类库比较丰富，其中的的request、json、selenium这些爬虫类库，.net也是有的，并且实现也不是很困难（本人还是很倾向C#/net的毕竟开发启蒙语言是这个）所以本文简单介绍下.net爬虫。这里在开始之前先看下我用爬虫爬取数据
.net core 爬虫（api）
benlilife的博客
05-17 728
1.开始
RuiJi.Net 抽取模型
weixin_42581666的博客
05-17 179
结构 RuiJi.Net 将需抽取的目标进行了结构化处理，每一个需要抽取的目标页面被划分为以下结构 分别为 Block、Tile、Meta。这在RuiJi.Net中被称为抽取器。 选择器 每一个RuiJi.Net的抽取器都包含Selectors, Selectors是被用来定义所属抽取器需抽取内容的选择器。Selectors是由Selector组成，每个Selector都依赖上一个Selector的处理结果，也就是下一个Selecor相对与上一个Selector会抽取更精细的内容. 如果所属抽
.NET实现网络爬虫
热门推荐
hyunbar的博客
02-09 1万+
爬虫的特征和运行方式 User-Agent：主要用来将我们的爬虫伪装成浏览器。 Cookie：主要用来保存爬虫的登录状态。 连接数：主要用来限制单台机器与服务端的连接数量。 代理IP：主要用来伪装请求地址，提高单机并发数量。 爬虫工作的方式可以归纳为两种：深度优先、广度优先。 深度优先就是一个连接一个连接的向内爬，处理完成后再换一下一个连接，这种方式对于我们来说缺点很明显。 广度优先...
.net 爬虫示例
10-13
然而，实际的网络爬虫项目可能会更复杂，涉及到多线程、分布式爬虫、动态加载页面的处理、JavaScript执行等。在实践中，我们还需要关注版权问题和网站的Robots协议，确保我们的爬虫行为符合规范。 总结来说，.NET...
.net爬虫Dome最简单爬虫示例
09-22
.NET框架中的爬虫开发是一种获取和处理网页数据的技术，它主要涉及到网络编程、HTML解析、数据提取等核心概念。在本实例中，我们将探讨...实际应用中，你可能还需要考虑反爬虫策略、多线程爬取、分布式爬虫等高级主题。
NScrapy：NScrapy是.net核心corss平台分布式Spider框架，它提供了编写自己的Spider的简便方法
02-05
NScrapy是基于.net core的初始编程框架，Redis内存存储的一个单一的嵌入式分布式虫框架，NScrapy的整体思想源于知名度的python爬虫框架Scrapy，整体上的写法也接近于Scrapy NScrapy示例代码 以下是NScrapy的样本，该...
dotnet-RuiJiNet是一个C开发的分布式抓取框架
08-14
dotnet-RuiJiNet是一款基于C#语言开发的高效、灵活的分布式网络抓取框架，专为.NET开发者设计，旨在简化网页数据抓取与处理的工作流程。在当今大数据时代，数据的获取与分析成为企业决策的关键，而RuiJi.Net则为.NET...
.Net网络爬虫
04-10
.Net网络爬虫，封装工具类，有需要的可以下载看一下
.net网络爬虫源码 ncrawler
10-15
NCrawler是一款国外的开源网络爬虫软件，遵循LGPL许可协议。其HTML处理使用的是htmlagilitypack开源库，采用xpath的方式处理定位网页元素，十分方便。同时其采用HttpWebRequest异步的方式获取网页，采集效率较高。
开源的.net爬虫Abot.zip
07-16
.Net中有不少开源的爬虫工具，abot就是其中之一。Abot是一个开源的.net爬虫，速度快，易于使用和扩展。项目的地址是 https://github.com/sjdirect/abot 对于爬取的Html，使用的分析工具是CsQuery, CsQuery可以算是.net中实现的Jquery, 可以使用类似Jquery中的方法来处理html页面。CsQuery的项目地址是https://github.com/afeiship/CsQuery一. 对Abot爬虫配置1. 通过属性设置先创建config对象，然后设置config中的各项属性:CrawlConfiguration crawlConfig = new CrawlConfiguration();  crawlConfig.CrawlTimeoutSeconds = 100;  crawlConfig.MaxConcurrentThreads = 10;  crawlConfig.MaxPagesToCrawl = 1000;  crawlConfig.UserAgentString = "abot v1.0 http://code.google.com/p/abot";  crawlConfig.ConfigurationExtensions.Add("SomeCustomConfigValue1", "1111");  crawlConfig.ConfigurationExtensions.Add("SomeCustomConfigValue2", "2222");2. 通过App.config配置直接从配置文件中读取，但是也任然可以在修改各项属性:CrawlConfiguration crawlConfig = AbotConfigurationSectionHandler.LoadFromXml().Convert(); crawlConfig.CrawlTimeoutSeconds = 100;  crawlConfig.MaxConcurrentThreads = 10;3. 应用配置到爬虫对象PoliteWebCrawler crawler = new PoliteWebCrawler(); PoliteWebCrawler crawler = new PoliteWebCrawler(crawlConfig, null, null, null, null, null, null, null);二，使用爬虫，注册各种事件爬虫中主要是4个事件, 页面爬取开始、页面爬取失败、页面不允许爬取事件、页面中的链接不允许爬取事件。下面是示例代码:crawlergeCrawlStartingAsync  = crawler_ProcessPageCrawlStarting;//单个页面爬取开始  crawler.PageCrawlCompletedAsync  = crawler_ProcessPageCrawlCompleted;//单个页面爬取结束  crawler.PageCrawlDisallowedAsync  = crawler_PageCrawlDisallowed;//页面不允许爬取事件  crawler.PageLinksCrawlDisallowedAsync  = crawler_PageLinksCrawlDisallowed;//页面链接不允许爬取事件 void crawler_ProcessPageCrawlStarting(object sender, PageCrawlStartingArgs e) {   PageToCrawl pageToCrawl = e.PageToCrawl;   Console.WriteLine("About to crawl link {0} which was found on page {1}", pageToCrawl.Uri.AbsoluteUri, pageToCrawl.ParentUri.AbsoluteUri); } void crawler_ProcessPageCrawlCompleted(object sender, PageCrawlCompletedArgs e) {   CrawledPage crawledPage = e.CrawledPage;   if (crawledPage.WebException != null || crawledPage.HttpWebResponse.StatusCode != HttpStatusCode.OK)     Console.WriteLine("Crawl of page failed {0}", crawledPage.Uri.AbsoluteUri);   else     Console.WriteLine("Crawl of page succeeded {0}", crawledPage.Uri.AbsoluteUri);   if (string.IsNullOrEmpty(crawledPage.Content.Text))     Console.WriteLine("Page had no content {0}", crawledPage.Uri.AbsoluteUri); } void crawler_PageLinksCrawlDisallowed(object sender, PageLinksCrawlDisallowedArgs e) {   CrawledPage crawledPage = e.CrawledPage;   Console.WriteLine("Did not crawl the links on page {0} due to {1}", crawledPage.Uri.AbsoluteUri, e.DisallowedReason); } void crawler_PageCrawlDisallowed(object sender, PageCrawlDisallowedArgs e) {   PageToCrawl pageToCrawl = e.PageToCrawl;   Console.WriteLine("Did not crawl page {0} due to {1}", pageToCrawl.Uri.AbsoluteUri, e.DisallowedReason); }三， 为爬虫添加多个附加对象Abot应该是借鉴了Asp.net MVC中的ViewBag, 也为爬虫对象设置了对象级别的CrwalBag和Page级别的ViewBag.PoliteWebCrawler crawler = new PoliteWebCrawler(); crawler.CrawlBag.MyFoo1 = new Foo();//对象级别的 CrwalBagcrawler.CrawlBag.MyFoo2 = new Foo(); crawler.PageCrawlStartingAsync  = crawler_ProcessPageCrawlStarting; ...void crawler_ProcessPageCrawlStarting(object sender, PageCrawlStartingArgs e) {   //获取CrwalBag中的对象   CrawlContext context = e.CrawlContext;    context.CrawlBag.MyFoo1.Bar();  //使用CrwalBag    context.CrawlBag.MyFoo2.Bar();      //使用页面级别的    PageBag  e.PageToCrawl.PageBag.Bar = new Bar(); }四，启动爬虫启动爬虫非常简单，调用Crawl方法，指定好开始页面，就可以了。CrawlResult result = crawler.Crawl(new Uri("  if (result.ErrorOccurred)         Console.WriteLine("Crawl of {0} completed with error: {1}",          result.RootUri.AbsoluteUri, result.ErrorException.Message         );          else         Console.WriteLine("Crawl of {0} completed without error.", result.RootUri.AbsoluteUri);五，介绍CsQuery在PageCrawlCompletedAsync事件中, e.CrawledPage.CsQueryDocument就是一个CsQuery对象。这里介绍一下CsQuery在分析Html上的优势:cqDocument.Select(".bigtitle > h1")这里的选择器的用法和Jquery完全相同，这里是取class为.bittitle下的h1标签。如果你能熟练的使用Jquery，那么上手CsQuery会非常快和容易。 标签：网络爬虫  网络蜘蛛
.Net爬虫（1）——第一个简单的爬虫
j13912606214的博客
06-15 890
第一个简单的爬虫DotnetSpider目标准备工作开始运行总结 DotnetSpider DotnetSpider 是一个轻量、灵活、高性能、跨平台的分布式网络爬虫框架，可以帮助 .NET 工程师快速的完成爬虫的开发。 目标 第一个简单的爬虫需要达到的目标： 从博客园抓取博客； 抓取标题、作者、发布时间、正文Url； 准备工作 新建控制台项目 Nuget添加DotnetSpider、Serilog.AspNetCore、Serilog.Sinks.Console、Serilog.Sinks.Roll
推荐一个 .NET 分布式爬虫框架
dotNET跨平台
07-25 562
RuiJi.NetRuiJi.Net 是一个可以分布式部署的爬虫框架，使用 C# 开发，项目的最终目的是可以对大量的网站进行自动更新检查及抓取。RuiJi.Net 支持自管理Cookie,并且自动维护不同浏览器标识的Cookie，这意味着您可以在使用独立IP的基础上，虚拟出任意多的Cookie. RuiJi.Net 同样支持使用抓取服务器上的IP进行轮询抓取，并且也可以使用代理服务器。RuiJi....
RuiJi.Net .NET 开源爬虫框架
06-07 173
项目地址 https://github.com/zhupingqi/RuiJi.Net https://gitee.com/zhupingqi/RuiJi.Net 文档 http://www.ruijihg.com/archives/ruijinet/getting-started ...
手把手教你用.NET Core写爬虫
ASP.NET
09-15 1391
写在前面 自从上一个项目58HouseSearch从.NET迁移到.NET core之后，磕磕碰碰磨蹭了一个月才正式上线到新版本。 然后最近又开了个新坑，搞了个Dy2018Crawler用来爬dy2018电影天堂上面的电影资源。这里也借机简单介绍一下如何基于.NET Core写一个爬虫。 PS：如有偏错，敬请指明… PPS:该去电影院还是多去电影院，毕竟美人良时可无价。 准备工作（.NET Core准备） 首先，肯定是先安装.NET Core咯。下载及安装教程在这里：.NET - Powerful O
.NET 爬虫从入门到入狱
最新发布
ooo
04-18 627
爬虫可以用于外汇，期货，基金，货币，电商，文章等信息的采集。通过数据分析，竞品分析，为商业决策提供数据支持。获取金价Au价格，获取BTC价格，获取CSDN热点，获取编程语言排行榜，获取小破站热门，获取某音热门。PS：请勿使用此技术做违法的事情！！！
scrapy分布式爬虫框架
08-27
- *1* *2* *3* [【浅谈爬虫】一文解析分布式爬虫框架Scrapy的原理图与项目结构说明](https://blog.csdn.net/weixin_43529465/article/details/122627245)[target="_blank" data-report-click={"spm":"1018.2226.3001...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值