C#爬虫框架

最新推荐文章于 2024-07-25 14:16:13 发布
最新推荐文章于 2024-07-25 14:16:13 发布
阅读量7.1k 收藏 31
点赞数 8
分类专栏： C# 文章标签： C#爬虫框架 C#有哪些爬虫框架 爬虫框架 C#爬虫

这里写图片描述

1：.Net开源的跨平台爬虫框架 DotnetSpider Star:430

DotnetSpider这是国人开源的一个跨平台、高性能、轻量级的爬虫软件，采用 C# 开发。目前是.Net开源爬虫最为优秀的爬虫之一。

2：俄国牛人写的开源爬虫xNet Star:117

这个一个俄国牛人写的开源工具，为啥说他强悍了，因为他将所有Http协议的底层都实现了一遍，这有啥好处？只要你是写爬虫的，都会遇到一个让人抓狂的问题，就是明明知道自己Http请求头跟浏览器一模一样了，为啥还会获取不到自己想要的数据

3：开源的.net爬虫Abot Star:1050

Abot是一个开源的.net爬虫，速度快，易于使用和扩展

4：C#仿火车头的开源数据采集器V5_DataCollection Star:25

V5 数据采集器是一款面向个人及专业用户提供的一款专业的数据采集软件,即适用于简单化配置操作，也适应针对复杂数据采集的能力,所见即可采。 V5数据采集器独有的代理轮询采集机制，可有效的解决网站屏蔽问题，可用于互联网数据动态监控，绝对是您的首选

5：C#爬虫引擎内核版SmartSpider Star:17

SmartSpider爬虫引擎内核版，全新的设计理念，真正的极简版本。

6：.Net开源的超级爬虫Hawk Star:1039

HAWK是一种数据采集和清洗工具，依据GPL协议开源，能够灵活，有效地采集来自网页，数据库，文件， 并通过可视化地拖拽， 快速地进行生成，过滤，转换等操作。其功能最适合的领域，是爬虫和数据清洗

7：基于C#.NET的简单且高效的网站爬虫 Star:58

Simple-Web-Crawler - 基于C#.NET的简单网页爬虫，支持异步并发、切换代理、操作Cookie、Gzip加速。

8：网站数据采集软件网络矿工采集器（原soukey采摘）

Soukey采摘网站数据采集软件是一款基于.Net平台的开源软件，也是网站数据采集软件类型中唯一一款开源软件。尽管Soukey采摘开源，但并不会影响软件功能的提供，甚至要比一些商用软件的功能还要丰富。Soukey采摘当前提供的主要功能如下： 1. 多任务多线程数据采集，支持POST方式；…

9：网站数据采集软件NETSpider Star:94

NETSpider网站数据采集软件是一款基于.Net平台的开源软件。 软件部分功能是基本Soukey软件进行开发的.这个版本采用VS2010+.NET3.5进行开发的. NETSpider采摘当前提供的主要功能如下： 1. 多任务多线程数据采集，支持POST方式(待定)； 2. 可…

10：网络爬虫程序NWebCrawler

NWebCrawler是一款开源的C#网络爬虫程序

11：Web爬虫工具NCrawler

NCrawler 是一个Web Crawler 工具，它可以让开发人员很轻松的发展出具有Web Crawler 能力的应用程式，并且具有可以延展的能力，让开发人员可以扩充它的功能，以支援其他类型的资源（例如PDF /Word/Excel 等档案或其他资料来源）。 NCrawler 使用多执行绪…

12：多线程web爬虫程序spidernet

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和utf8编码的资源; 存储于sqlite数据文件. 源码中TODO:标记描述了未完成功能, 希望提交你…

13：网页爬虫ScrapingSpider Star:48

ScrapingSpider 是一个业余时间开发的，支持多线程，支持关键字过滤，支持正文内容智能识别的爬虫。 爬虫的核心实现在ScrapingSpider.Core程序集中。爬虫类为Spider类，爬虫的爬取逻辑，与页面处理逻辑通过事件分离，两个关键事件为AddUrlEvent和Data…

14：爬虫小新Sinawler

国内第一个针对微博数据的爬虫程序！原名“新浪微博爬虫”。 登录后，可以指定用户为起点，以该用户的关注人、粉丝为线索，延人脉关系搜集用户基本信息、微博数据、评论数据。 该应用获取的数据可作为科研、与新浪微博相关的研发等的数据支持，但请勿用于商业用途。该应用基于.NET2.0框架，需SQL SER…

盗理者
关注
专栏目录
C# 爬虫接口
01-30
C#C/S 写的 爬虫接口，支持接口，网页，文件资源下载等数据下载！ 具体可参考博客地址：http://blog.csdn.net/qq237183141/article/details/79208909
基于C#.NET的高端智能化网络爬虫
10-18
基于C#.NET的高端智能化网络爬虫
推荐13个.Net开源的网络爬虫
热门推荐
hguchen的专栏
06-15 2万+
.net开源爬虫比起其他语言开源爬虫少很多，而且开源质量也相对没那么好，为了让大家了解.net开源爬虫，笔者为大家收集了13款开源爬虫，希望可以帮助大家学习.net爬虫技术
使用C#开发爬虫系列-1、爬虫基础知识
最新发布
zhaotianff的专栏
07-25 1180
如果会话中的某些设置登录状态的变量有有效的，那就证明用户处于登录状态，可以看到登录之后的网页内容，反之，可能会要求重新登录，或者看到未登录前的页面。实际上，这个过程是浏览器向网站所在的服务器发送了一个请求，网站服务器接收到这个请求后进行处理和解析，然后返 回对应的响应，响应里包含了要显示的网页内容，浏览器在接收到这个响应后，对内容进行解析并显示。HTTP本身是一个无状态的连接协议，为了支持客户端与服务器之间的交互，我们就需要通过不同的技术为交互存储状态，而这些不同的技术就是Cookie和Session了。
转.Net开源网络爬虫Abot介绍
weixin_34315485的博客
12-24 117
.Net中也有很多很多开源的爬虫工具，abot就是其中之一。Abot是一个开源的.net爬虫，速度快，易于使用和扩展。项目的地址是https://code.google.com/p/abot/ 对于爬取的Html，使用的分析工具是CsQuery, CsQuery可以算是.net中实现的Jquery, 可以使用类似Jquery中的方法来处理html页面。CsQuery的项目地址是https://g...
.NET实现网络爬虫
hyunbar的博客
02-09 1万+
爬虫的特征和运行方式 User-Agent：主要用来将我们的爬虫伪装成浏览器。 Cookie：主要用来保存爬虫的登录状态。 连接数：主要用来限制单台机器与服务端的连接数量。 代理IP：主要用来伪装请求地址，提高单机并发数量。 爬虫工作的方式可以归纳为两种：深度优先、广度优先。 深度优先就是一个连接一个连接的向内爬，处理完成后再换一下一个连接，这种方式对于我们来说缺点很明显。 广度优先...
.net爬虫Dome最简单爬虫示例
09-22
.net爬虫Dome最简单爬虫示例
HttpHelper-V2.2.97 c#爬虫抓取类
01-12
各种采集页面 爬虫抓取
c#爬虫源码-vs2010下运行
12-10
【标题】"C#爬虫源码在VS2010下的运行"涉及到的主要知识点是C#编程语言、网络爬虫开发以及Visual Studio 2010集成开发环境的使用。C#是一种由微软开发的面向对象的编程语言，常用于Windows平台上的应用开发，包括...
C#爬虫开源
04-18
7. **爬虫框架**：如Scrapy.NET，它是基于C#的爬虫框架，提供了完整的爬虫项目结构，包括中间件、调度器、下载器和解析器等组件。 8. **异常处理与日志记录**：确保程序在遇到错误时能优雅地处理，同时通过日志记录...
.Net开源网络爬虫Abot源码
11-17
自己找的资料，其实真不应该收费的，但是我缺币，SORRY宝宝们
.Net网络爬虫
04-10
.Net网络爬虫，封装工具类，有需要的可以下载看一下
.net 爬虫示例
10-13
这是一个简单的.net爬数据的例子，这里抓取的是电影天堂的下载连接，可以直接运行，用的XPath，没写注释，第一次上传，希望大家不要喷我哈哈。
开源的.net爬虫Abot.zip
07-16
.Net中有不少开源的爬虫工具，abot就是其中之一。Abot是一个开源的.net爬虫，速度快，易于使用和扩展。项目的地址是 https://github.com/sjdirect/abot 对于爬取的Html，使用的分析工具是CsQuery, CsQuery可以算是.net中实现的Jquery, 可以使用类似Jquery中的方法来处理html页面。CsQuery的项目地址是https://github.com/afeiship/CsQuery一. 对Abot爬虫配置1. 通过属性设置先创建config对象，然后设置config中的各项属性:CrawlConfiguration crawlConfig = new CrawlConfiguration();  crawlConfig.CrawlTimeoutSeconds = 100;  crawlConfig.MaxConcurrentThreads = 10;  crawlConfig.MaxPagesToCrawl = 1000;  crawlConfig.UserAgentString = "abot v1.0 http://code.google.com/p/abot";  crawlConfig.ConfigurationExtensions.Add("SomeCustomConfigValue1", "1111");  crawlConfig.ConfigurationExtensions.Add("SomeCustomConfigValue2", "2222");2. 通过App.config配置直接从配置文件中读取，但是也任然可以在修改各项属性:CrawlConfiguration crawlConfig = AbotConfigurationSectionHandler.LoadFromXml().Convert(); crawlConfig.CrawlTimeoutSeconds = 100;  crawlConfig.MaxConcurrentThreads = 10;3. 应用配置到爬虫对象PoliteWebCrawler crawler = new PoliteWebCrawler(); PoliteWebCrawler crawler = new PoliteWebCrawler(crawlConfig, null, null, null, null, null, null, null);二，使用爬虫，注册各种事件爬虫中主要是4个事件, 页面爬取开始、页面爬取失败、页面不允许爬取事件、页面中的链接不允许爬取事件。下面是示例代码:crawlergeCrawlStartingAsync  = crawler_ProcessPageCrawlStarting;//单个页面爬取开始  crawler.PageCrawlCompletedAsync  = crawler_ProcessPageCrawlCompleted;//单个页面爬取结束  crawler.PageCrawlDisallowedAsync  = crawler_PageCrawlDisallowed;//页面不允许爬取事件  crawler.PageLinksCrawlDisallowedAsync  = crawler_PageLinksCrawlDisallowed;//页面链接不允许爬取事件 void crawler_ProcessPageCrawlStarting(object sender, PageCrawlStartingArgs e) {   PageToCrawl pageToCrawl = e.PageToCrawl;   Console.WriteLine("About to crawl link {0} which was found on page {1}", pageToCrawl.Uri.AbsoluteUri, pageToCrawl.ParentUri.AbsoluteUri); } void crawler_ProcessPageCrawlCompleted(object sender, PageCrawlCompletedArgs e) {   CrawledPage crawledPage = e.CrawledPage;   if (crawledPage.WebException != null || crawledPage.HttpWebResponse.StatusCode != HttpStatusCode.OK)     Console.WriteLine("Crawl of page failed {0}", crawledPage.Uri.AbsoluteUri);   else     Console.WriteLine("Crawl of page succeeded {0}", crawledPage.Uri.AbsoluteUri);   if (string.IsNullOrEmpty(crawledPage.Content.Text))     Console.WriteLine("Page had no content {0}", crawledPage.Uri.AbsoluteUri); } void crawler_PageLinksCrawlDisallowed(object sender, PageLinksCrawlDisallowedArgs e) {   CrawledPage crawledPage = e.CrawledPage;   Console.WriteLine("Did not crawl the links on page {0} due to {1}", crawledPage.Uri.AbsoluteUri, e.DisallowedReason); } void crawler_PageCrawlDisallowed(object sender, PageCrawlDisallowedArgs e) {   PageToCrawl pageToCrawl = e.PageToCrawl;   Console.WriteLine("Did not crawl page {0} due to {1}", pageToCrawl.Uri.AbsoluteUri, e.DisallowedReason); }三， 为爬虫添加多个附加对象Abot应该是借鉴了Asp.net MVC中的ViewBag, 也为爬虫对象设置了对象级别的CrwalBag和Page级别的ViewBag.PoliteWebCrawler crawler = new PoliteWebCrawler(); crawler.CrawlBag.MyFoo1 = new Foo();//对象级别的 CrwalBagcrawler.CrawlBag.MyFoo2 = new Foo(); crawler.PageCrawlStartingAsync  = crawler_ProcessPageCrawlStarting; ...void crawler_ProcessPageCrawlStarting(object sender, PageCrawlStartingArgs e) {   //获取CrwalBag中的对象   CrawlContext context = e.CrawlContext;    context.CrawlBag.MyFoo1.Bar();  //使用CrwalBag    context.CrawlBag.MyFoo2.Bar();      //使用页面级别的    PageBag  e.PageToCrawl.PageBag.Bar = new Bar(); }四，启动爬虫启动爬虫非常简单，调用Crawl方法，指定好开始页面，就可以了。CrawlResult result = crawler.Crawl(new Uri("  if (result.ErrorOccurred)         Console.WriteLine("Crawl of {0} completed with error: {1}",          result.RootUri.AbsoluteUri, result.ErrorException.Message         );          else         Console.WriteLine("Crawl of {0} completed without error.", result.RootUri.AbsoluteUri);五，介绍CsQuery在PageCrawlCompletedAsync事件中, e.CrawledPage.CsQueryDocument就是一个CsQuery对象。这里介绍一下CsQuery在分析Html上的优势:cqDocument.Select(".bigtitle > h1")这里的选择器的用法和Jquery完全相同，这里是取class为.bittitle下的h1标签。如果你能熟练的使用Jquery，那么上手CsQuery会非常快和容易。 标签：网络爬虫  网络蜘蛛
探秘DotnetSpider：一款强大的.NET爬虫框架
gitblog_00007的博客
03-21 1010
探秘DotnetSpider：一款强大的.NET爬虫框架 DotnetSpider项目地址:https://gitcode.com/gh_mirrors/dot/DotnetSpider DotnetSpider是一个开源的、高效的.NET爬虫框架，由开发者zlzforever维护并持续更新。该项目充分利用了C#和.NET Core的强大功能，旨在为数据挖掘和网络自动化提供便捷的解决方案。下面，...
.NET 图形化开源爬虫Hawk 3发布
dotNET跨平台
05-14 797

 
 
 
 
 
 
 超级图形化爬虫Hawk已经发布两年半时间了，2015年升级到第二版，收到上千条用户反馈(tucao)...
[开源 .NET 跨平台 Crawler 数据采集 爬虫框架: DotnetSpider] [五] 如何做全站采集?
weixin_30244889的博客
02-12 120
[DotnetSpider 系列目录] 一、初衷与架构设计 二、基本使用 三、配置式爬虫 四、JSON数据解析与配置系统 五、如何做全站采集 如何做全站采集? 很多同学加群都在问, 如何使用DotnetSpider做全站采集呢? 其实很简单, 只要你们想通爬虫的整个逻辑就能明白了。简而言之，步骤如下： 1. 使用指定URL下载HTML 2. 分析, 保存HTML数据 3...
网络爬虫基础-异步爬虫
weixin_39281866的博客
10-26 511
异步爬虫 目的：在爬虫中使用异步实现高性能数据爬取 异步爬虫的方式： 多线程/多进程（不建议） 优点：可以为相关阻塞的操作，单独开启线程或进程，阻塞操作可以异步执行。 弊端：无法无限制地开启多线程或者多进程：在遇到要同时处理成百上千个的连接请求时，则无论多线程还是多进程都会严重占据系统资源，降低系统对外界响应效率，而且线程与进程本身也更容易进入假死状态。 线程池/进程池（适量使用） 优点：降低系统对进程和线程创建和销毁的一个频率，从而很好地降低系统的开销。 弊端：池中线程或进程的数量是有上限的。当阻
C#实现网络爬虫详解
在C#中实现网络爬虫，我们可以充分利用.NET框架提供的强大功能。下面将详细介绍C#实现网络爬虫的关键步骤。 1. **初始化URL集合** - 首先，我们需要确定起始URL，并创建两个集合：一个用于存储待下载的URL（待下载...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值