网站与网络爬虫(Spider或Robot)

最新推荐文章于 2021-09-26 23:14:26 发布
最新推荐文章于 2021-09-26 23:14:26 发布
阅读量1.2k 收藏
点赞数
文章标签： 网络爬虫 百度 google html 搜索引擎 任务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hanxin1987216/article/details/2826789
版权
使用Heritrix(Version：1.12.1)做了一个测试，原来并不是任何网站都可以被网络爬虫抓取到，其实本来就应该是这样，如果一些恶意爬虫没有规则地对网站进行抓取，势必增加网站的负荷。

而且，对于一个网站来说，可以通过一定的措施来设置网站接受爬虫的范围。一些应该受到保护的资源是不应该被网络爬虫抓取到的，管理员可以在网站中进行设置，运行哪些爬虫，限制哪些爬虫。

本来想拿我的百度空间(http://hi.baidu.com/shirdrn)作为种子页面，但是结果是令人失望的，根本就没有抓取到任何我想要的东西，比如我的文章、我的图片。

在我设置的Heritrix-1.12.1/jobs/Hi.Baidu-20080425073113453/mirror目录下面就是目录：/hi.baidu.com/。打开这个文件夹，下面只有一个robots.txt文件，内容如下：

User-agent: Baiduspider
Disallow:
User-agent: Googlebot
Disallow:
User-agent:
Disallow: /
User-agent: MSNBot
Allow: /

这个robots.txt文件就是百度(www.baidu.com)网站管理员设置的爬虫规则。并不是任何User-agent都可以对百度进行抓取。通过上面robots.txt文件的内容，我们可以了解到：

百度的网络爬虫叫做“Baiduspider”，百度当然运行百度网络蜘蛛进行抓取网站内容了，上面“Disallow:”就表示对hi.baidu.com目录下的内容，没有任何限制；

百度允许Google的网络爬虫访问百度网站，Google的网络爬虫叫做“Googlebot”，不限制Google的网络爬虫抓取hi.baidu.com目录下的内容；

百度还允许MSN(http://www.msn.com/)的网络爬虫对百度网站进行访问，“Allow: /”说明了可以抓取hi.baidu.com下面的内容；

这么说，百度空间拒绝其它的User-agent了，下面两行：

User-agent:
Disallow: /

其中“Disallow: /”表示对没有指定User-agent的网络爬虫进行限制，不允许抓取hi.baidu.com下面的内容。

如果使用Heritrix时，新建抓取任务时，种子页面选择www.baidu.com，则在目录Heritrix-1.12.1/jobs/Baidu-20080425072302515/mirror/www.baidu.com下面也存在一个robots.txt文件，内容是这样的：

User-agent: Baiduspider
Disallow: /baidu

User-agent: *
Disallow: /shifen/dqzd.html

每个站点只允许设置一个robots.txt文件，而且该文件不许用小写，存放在网站的根目录之下。在使用Heritrix抓取的过程中，种子页面选择www.baidu.com，在目录Heritrix-1.12.1/jobs/Baidu-20080425072302515/mirror下面存在一个和目录www.baidu.com并列的目录/utk.baidu.com/，该目录下面仍然能看到一个robots.txt文件，该文件内容有点不同：

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<HTML><HEAD>
<TITLE>404 Not Found</TITLE>
</HEAD><BODY>
<H1>Not Found</H1>
The requested URL /robots.txt was not found on this server.<P>
</BODY></HTML>

因为这个目录应该是目录www.baidu.com的子目录，自然找不到管理员实际设置的robots.txt文件，但它是在首页中的链接，与首页同级，Heritrix认为它是一个网站的根目录。

我也测试了一下Google网站，在目录Heritrix-1.12.1/jobs/Google-20080425072048531/mirror/www.google.com下面的robots.txt文件内容如下：

User-agent: *
Allow: /searchhistory/
Disallow: /news?output=xhtml&
Allow: /news?output=xhtml
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalogues
Disallow: /news
Disallow: /nwshp
Disallow: /?
Disallow: /addurl/image?
Disallow: /pagead/
Disallow: /relpage/
Disallow: /relcontent
Disallow: /sorry/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /default
Disallow: /m?
Disallow: /m/lcb
Disallow: /m/search?
Disallow: /wml?
Disallow: /wml/search?
Disallow: /xhtml?
Disallow: /xhtml/search?
Disallow: /xml?
Disallow: /imode?
Disallow: /imode/search?
Disallow: /jsky?
Disallow: /jsky/search?
Disallow: /pda?
Disallow: /pda/search?
Disallow: /sprint_xhtml
Disallow: /sprint_wml
Disallow: /pqa
Disallow: /palm
Disallow: /gwt/
Disallow: /purchases
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?
Disallow: /unclesam?
Disallow: /answers/search?q=
Disallow: /local?
Disallow: /local_url
Disallow: /froogle?
Disallow: /products?
Disallow: /froogle_
Disallow: /product_
Disallow: /products_
Disallow: /print
Disallow: /books
Disallow: /patents?
Disallow: /scholar?
Disallow: /complete
Disallow: /sponsoredlinks
Disallow: /videosearch?
Disallow: /videopreview?
Disallow: /videoprograminfo?
Disallow: /maps?
Disallow: /mapstt?
Disallow: /mapslt?
Disallow: /maps/stk/
Disallow: /mapabcpoi?
Disallow: /translate?
Disallow: /ie?
Disallow: /sms/demo?
Disallow: /katrina?
Disallow: /blogsearch?
Disallow: /blogsearch/
Disallow: /blogsearch_feeds
Disallow: /advanced_blog_search
Disallow: /reader/
Disallow: /uds/
Disallow: /chart?
Disallow: /transit?
Disallow: /mbd?
Disallow: /extern_js/
Disallow: /calendar/feeds/
Disallow: /calendar/ical/
Disallow: /cl2/feeds/
Disallow: /cl2/ical/
Disallow: /coop/directory
Disallow: /coop/manage
Disallow: /trends?
Disallow: /trends/music?
Disallow: /notebook/search?
Disallow: /music
Disallow: /browsersync
Disallow: /call
Disallow: /archivesearch?
Disallow: /archivesearch/url
Disallow: /archivesearch/advanced_search
Disallow: /base/search?
Disallow: /base/reportbadoffer
Disallow: /base/s2
Disallow: /urchin_test/
Disallow: /movies?
Disallow: /codesearch?
Disallow: /codesearch/feeds/search?
Disallow: /wapsearch?
Disallow: /safebrowsing
Disallow: /reviews/search?
Disallow: /orkut/albums
Disallow: /jsapi
Disallow: /views?
Disallow: /c/
Disallow: /cbk
Disallow: /recharge/dashboard/car
Disallow: /recharge/dashboard/static/
Disallow: /translate_c?
Disallow: /s2
Disallow: /transconsole/portal/
Disallow: /gcc/
Disallow: /aclk
Disallow: /cse?
Disallow: /tbproxy/
Disallow: /MerchantSearchBeta/

Google网站设置得比较详细。

从上面的robots.txt文件中设置，可以看出，这对网络爬虫进行访问的设置是非常重要的，这时网站管理员应该做的的任务。robots.txt文件中设置的一般来说是限制的较多。下面是在robots.txt文件中进行设置的规则：

■ 拒绝网络爬虫对整个网站的抓取

User-agent: *
Disallow: /

■ 允许网络爬虫对整个网站的抓取

User-agent: *
Disallow:

■ 拒绝网络爬虫对网站指定的目录抓取

User-agent: *
Disallow: /importants/
Disallow: /website/test/
……

■ 允许某些搜索引擎的网络爬虫对网站抓取

User-agent: Baiduspider
Disallow:
User-agent: Googlebot
Disallow:
User-agent: MSNBot
Allow: /

■ 限制网络爬虫对网站中页面的抓取

User-agent: *
Disallow: /security/subs/securityitems.jsp
Disallow: /admin/admin.htm

Mark-Han
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
网络爬虫Spider
02-03
　目前，专业搜索引擎网络爬虫通常采用“最好优先”原则访问WEB，即为快速、有效地获得更多的与主题相关的页面（简称“回报”），每次选择“最有价值”的链接进行访问。由于链接包含于页面之中，而通常具有较高价值...
搜索引擎原理－网络蜘蛛和ROBOTS
qiaoyuetian博客访谈
10-23 1013
一、网络蜘蛛基本原理 　　网络蜘蛛即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从 网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网 站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网
robots、404与Spider
程序员架构进阶
07-16 838
1、问题来源 问题始于线上的某次报警。如下图，可见发生了404错误，而REQUESTPATH是robots.txt，一个系统中不存在的路由。从命名上可以隐约猜出与爬虫有关，BROWSER："Robot/Spider"也一定程度说明了这点。下一个问题，怎么确认？是谁在做抓取动作？原因又是什么？ 2、分析过程 还记得linux系统的nslookup命令，可以通过外网ip查找对应的域名，执行如...
Keywords (关键字)
asp.net and c# and rdlc報表
02-21 1376
　　META标签是HTML语言HEAD区的一个辅助性标签，它位于HTML文档头部的标记和标记之间，它提供用户不可见的信息。meta标签通常用来为搜索引擎robots定义页面主题，或者是定义用户浏览器上的cookie；它可以用于鉴别作者，设定页面格式，标注内容提要和关键字；还可以设置页面使其可以根据你定义的时间间隔刷新自己,以及设置RASC内容等级，等等。　　name是描述网页的，对应于Conten
PHP识别Robot(Spider,机器人,搜索引擎)函数
cqinter的专栏
09-19 1528
很多网站采用了AJAX构造，这样对搜索引擎不是很友好，这里就提供一个识别各个搜索引擎的函数，在判断是搜索引擎后转入专门为搜索引擎提供的页面，方便搜索引擎收录。(当然，你也可以用来强奸搜索引擎 )function is_bot(){    $ua = strtolower($_SERVER[HTTP_USER_AGENT]);    $botchar = "/(baidu|google|spid
spider之robots协议（新人小结）
qq_41096887的博客
07-03 1469
网络爬虫与信息提取 **要求掌握定向网络数据爬取和网页解析的基本能力 希望能够坚持的理念 The website is API………. 想再多磨叽几嘴，还是算了吧，暴露我学艺不精的事实 一个网站想限制网络爬虫，有两个方法：一个是审查来源，一个是通过robots协议来进行告知 Robots.txt 全称：Robots Exclusion Standard 网络爬虫排除...
网络爬虫软件的研究与开发
11-14
爬虫（Crawler），又称蜘蛛（Spider）或者机器人（Robot），是一种能够高效抓取网络资源的程序
s2robot:WebFileSystem 爬虫库
06-07
下面将详细介绍S2Robot的主要特点、核心功能以及如何使用它进行网络爬虫的开发。 一、S2Robot的基本概念 1. **模块化设计**：S2Robot采用了模块化的设计思想，包括了网页解析、数据提取、请求发送等多个独立的组件...
2个C写的网络爬虫软件
04-25
标签“spider”、“Crawler”和“robot”都是对网络爬虫的不同称呼。它们都指代同样的概念，即自动浏览并抓取网络信息的程序。这些标签强调了这些软件的主要功能和应用场景。 在压缩包子文件的文件名称列表中，我们...
网络爬虫程序cngr_37527
02-03
么是网络爬虫(Spider)程序 Spider又叫WebCrawler或者Robot，是一个沿着链接漫游Web 文档集合的程序。它一般驻留在服务器上，通过给定的一些URL，利用HTTP等标准协议读取相应文档,然后以文档中包括的所有未访问过的...
WebSpider 2.7 扒网站工具汉化版
11-05
WebSpider 2.7 汉化版是一个以互联网数据抓取为目的的跨平台的软件.主要用于网络数据抓取，比如抓取新闻、技术文章、商业数据、股市数据等不同类别、不同来源、不同格式的信息；并且WebSpider具有很强的灵活性，能根据用户的意愿，到某一网站抓取用户想要的特定的数据与信息；而且能根据该网站数据的更新，自动实时抓取数据，启动抓取的时间也可以通过配置设定，真正做到\"按需抓取，一次配置，永久抓取\"。抓来的数据可以保存到数据库中，支持当前主流数据库，包括：Oracle、SQL Server、MySQL等
templatespider扒网站工具 v2.2
11-04
templatespider扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！扒下来的网站，会自动变成html模版。js、css、图片等自动分好类，变为标准的模版文件。可以供网市场云建站、帝国CMS、织梦CMS等各大建站系统使用。
开源spider一览（zz）
DeepInside的专栏
03-07 1585
spider是搜索引擎的必须模块.spider数据的结果直接影响到搜索引擎的评价指标.第一个spider程序由MIT的Matthew K Gray操刀该程序的目的是为了统计互联网中主机的数目Spier定义(关于Spider的定义,有广义和狭义两种). 狭义:利用标准的http协议根据超链和web文档检索的方法遍历万维网信息空间的软件程序. 广义:所有能利用http
搜索引擎机器人(robot)名称大全
虎нǔ孓
10-20 2901
<br />谷歌google：Googlebot<br />http://www.google.com/bot.html<br /> <br /> <br />百度baidu：Baiduspider <br />http://www.baidu.com/search/spider.htm<br /> <br />雅虎yahoo!：Yahoo!+Slurp <br />http://misc.yahoo.com.cn/help.html<br /> <br />MSN：msnbot<br />http://s
什么是搜索引擎蜘蛛（spider）
webcenterol
01-07 8245
什么是搜索引擎蜘蛛（spider） 搜索引擎蜘蛛（spider）： 可简称为蜘蛛，本意为搜索引擎机器人（robot），称为蜘蛛的原因是将互联网比喻成蜘蛛网，将机器人比喻成了在网上爬行的蜘蛛，是搜索引擎自动抓取网页的程序。搜索引擎蜘蛛的作用：通过这些搜索引擎蜘蛛的爬行会自动将网页添加到搜索引擎的数据库当中，搜索引擎蜘蛛会自动判断网页的质量，根据既定的程序判断是否抓取。搜索引擎蜘蛛的名称：以下...
罗列各种spider
lycos的六度空间
08-01 762
Heritrix Heritrix is the Internet Archive′s open-source, extensible, web-scale, archival-quality web crawler project. Heritrix (sometimes spelled heretrix, or misspelled or missaid as heratrix/heri
meta标签
dehua_w的博客
04-03 224
<!-- <meta>标签的属性有：http-equiv、name、charset(html5新增)、scheme(html5弃用)、content(定义与 http-equiv 或 name 属性相关的值) --><!-- html 5与以往版本定义文档的字符编码差异 --> <!-- html 5 --><meta charset="UTF-8" /> <!-- HTML 4.01 --><me
meta标签详解（name、http-equiv、scheme、charset、各浏览器常用meta标签、常见移动端meta标签）、viewport详解
AIWWY的博客
09-26 5291
用法：
【网络爬虫与信息提取】Robots协议
博客标题不能为空我也没办法
07-02 2290
Robots协议
网络爬虫调研报告样本.doc
最新发布
12-06
网络爬虫调研报告样本.doc

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值