关于C#编写的网络爬虫资料

最新推荐文章于 2020-07-25 17:33:04 发布
最新推荐文章于 2020-07-25 17:33:04 发布
阅读量1k 收藏 1
点赞数
文章标签： 网络爬虫 c# html解析器 html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/openso/article/details/4682478
版权
下面链接就是一个c#写的网络爬虫，上面是翻译版 ，下面是英文原版
http://blog.csdn.net/wangkun9999/archive/2007/05/02/1594496.aspx
http://www.codeproject.com/cs/internet/Crawler.asp

另外，爬虫抓下来的东西要进行分析是必然的了，但c#中好像没有HTML解析器，特别是对那种不太规范的HTML，这里是一些c#解析HTML的资料。
http://www.codeproject.com/csharp/html2xhtmlcleaner.asp
http://www.pcxy.net/Article/netprogramme/xml/Article_36767.html
http://www.cnblogs.com/dragon/archive/2006/12/06/174946.html
openso
关注
C#开发网络爬虫
07-23
对现在所有的主流平台爬取是没任何问题！
用C#做网络爬虫的步骤教学
12-31
如今代码圈很多做网络爬虫的例子，今天小编给大家分享的是如何用C#做网络爬虫。注意这次的分享只是分享思路，并不是一整个例子，因为如果要讲解一整个例子的话，牵扯的东西太多。 1、新建一个控制台程序，这个相信...
GJM：用C#实现网络爬虫（一） [转载]
TDou
11-16 318

     网络爬虫在信息检索与处理中有很大的作用，是收集网络信息的重要工具。 接下来就介绍一下爬虫的简单实现。 爬虫的工作流程如下 爬虫自指定的URL地址开始下载网络资源，直到该地址和所有子地址的指定资源都下载完毕为止。 下面开始逐步分析爬虫的实现。   1. 待下载集合与已下载集合 为了保存需要下载的URL，同时防止重复下载，我们需要分别用了两个集合来存放将要下...
C#网络爬虫
weixin_33722405的博客
12-14 91
CronMaker is a utility which helps you to build cron expressions. CronMaker uses Quartz open source scheduler.  CronMaker是一个实用程序,可以帮助您构建cron表达式。CronMaker使用Quartz开源调度器。 http://www.cronmaker.com/ ...
c#网络爬虫
polobolomi的专栏
07-28 4540
简介      网页爬虫(也被称做蚂蚁或者蜘蛛)是一个自动抓取万维网中网页数据的程序.网页爬虫一般都是用于抓取大量的网页,为日后搜索引擎处理服务的.抓取的网页由一些专门的程序来建立索引(如:Lucene,DotLucene),加快搜索的速度.爬虫也可以作为链接检查器或者HTML代码校验器来提供一些服务.比较新的一种用法是用来检查E-mail地址,用来防止Trackback spam.
C# 网络爬虫
u013934107的博客
07-25 2360
using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Data.SqlClient; using System.Drawing; using System.Linq; using System.Text; using System.Threading; using System.Threading.Tasks; using System.Win.
PageExtractor-网络爬虫.zip_c# 网络爬虫_c#爬虫_爬虫_网络爬虫
07-14
C#编写的网络爬虫的例子，供学习使用，网络爬虫，网络爬虫C#编写的例子，供学习使用
C#实现网络爬虫
04-03
这是一款用 C# 编写的网络爬虫 主要特性有： 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和...
C#编写的网络爬虫
01-03
高度灵活的配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。 统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。 优先级设置：用户可以设置优先级MIME类型（高，上面的，...
由C#编写的多线程异步抓取网页的网络爬虫控制台程序
02-06
描述：由C#编写的多线程异步抓取网页的网络爬虫控制台程序 功能：目前只能提取网络链接，所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时不能抓取，请见谅。 但需要注意，网页的数目是非常...
C#简单实现网络爬虫
03-06
简单的网络爬虫实现，下载源码可在本地运行使用。如有不足之处，请大家多多指教。谢谢。
网络爬虫(机器人蜘蛛)完整源代码(C#)
03-14
一个完整的网络爬虫(机器人蜘蛛)完整源代码 使用C#实现。
c#写的非常完整的网络爬虫程序
11-03
c#写的非常完整的网络爬虫程序 本人收藏了3年的资源 现放出 都是总结了很多系统 软件项目实施过程中的经验的 慢慢积累的
C#网络编程全面教程（c#爬虫）
09-30
1. WebClient类 1 (1) WebClient类的主要方法 1 (2) DownloadData()方法 1 (3) OpenRead()方法 1 (4) UploadData()方法 1 (5) 总结WebClient类 2 2. WebRequest类与WebResponse类 2 (1) WebRequest类与WebResponse类简介 2 (2) 使用示例 2 (3) WebRequest类与WebResponse类的子类(继承结构) 2 (4) HttpWebRequest类与HttpWebResponse类使用示例 2 (5) 身份验证 2 (6) 使用代理 2 (7) 异步请求 2 3. WebBrowser控件 3 (1) 使用WebBrowser控件 3 (2) WebBrowser控件常用属性、方法与事件 3 4. 网络工具类(URL、IP、DNS) 3 (1) Uri与UriBuilder 3 (2) IPAddress、IPHostEntry 与Dns 3 (3) 解码与编码(Encoding) 4 5. 底层的网络协议类 4 (1) Socket 4 (2) NetworkStream、TcpClient与TcpListener 5 (3) UdpClient 5 (4) SmtpClient 5
C#网络爬虫源码
09-26
网络爬虫程序源码 这是一款用 C# 编写的网络爬虫 主要特性有： 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。 有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。 健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。 今后有空可能加入的特性： 新特性 介绍 爬取文件用Berkeley DB存储 提高性能： 常用操作系统不善于处理大量小文件 基于URL Ranking的优先级队列 主题爬虫： 机器学习算法对链接与主题相关度进行评估，并按照得出的优先级顺序进行爬取 爬虫礼仪 遵循爬虫禁止协议、以及避免对服务器资源的过度使用等 性能优化 用UDP取代封装好的HttpWebRequest/Response DNS缓存 异步的DNS地址解析 硬盘缓存或内存数据库以避免频繁的磁盘寻道 分布式爬虫以扩展单机能力（CPU、内存和硬盘访问）
用C#实现网络爬虫（二）
Gabriel的专栏
04-28 3119
转自：http://www.cnblogs.com/Jiajun/archive/2012/06/17/2552458.html 3. 保存页面文件 这一部分可简单可复杂，如果只要简单地把HTML代码全部保存下来的话，直接存文件就行了。 1 private void SaveContents(string html, string url) 2 { 3
用C#实现网络爬虫
Adele1973的博客
10-26 188
网络爬虫在信息检索与处理中有很大的作用，是收集网络信息的重要工具。 接下来就介绍一下爬虫的简单实现。 爬虫的工作流程如下 爬虫自指定的URL地址开始下载网络资源，直到该地址和所有子地址的指定资源都下载完毕为止。 下面开始逐步分析爬虫的实现。 1. 待下载集合与已下载集合 为了保存需要下载的URL，同时防止重复下载，我们需要分别用了两个集合来存放将要下载的URL和已...
C#2.0实现网络爬虫详解
9. **限制与道德规范**：在编写网络蜘蛛时，必须遵守互联网使用的道德规范，尊重网站的robots.txt文件，避免对目标网站造成过大的访问压力，以及遵守版权和隐私法规。 实现一个C#网络蜘蛛涉及网络通信、HTML解析、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值