爬虫Robots协议语法详解（写爬虫必看）

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。

        robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。
        网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

　具体使用格式如下:

　　(1)User.agent:用于描述搜索引擎爬虫的名字。在Robots.txt文件中，如果有多条User-agent记录，说明有多个搜索引擎爬虫会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为木，则该协议对任何搜索引擎爬虫均有效，在Robots.txt文件中，“User-agent:*这样的记录只能有一条。

　　(2)Disallow:用于描述不希望被访问到的一个URL。这个URL可以是一条完整的路径，也可以是部分路径，任何以Disallow开头的URL均不会被Robot访问到。

　　搜索引擎爬虫必须要遵守Robots协议并执行Web站点的要求。因此搜索引擎爬虫需要有一个分析Robots协议的模块，并严格按照Robots协议的规定抓取Web主机允许访问的目录和网页。

　　当然，Robots.txt只是一个协议，如果搜索引擎爬虫的设计者不遵循这个协议，网站管理员也无法阻止搜索引擎爬虫对于某些页面的访问，但一般的搜索引擎爬虫都会遵循这些协议，而且网站管理员还可以通过其他方式来拒绝网络蜘蛛对某些网页的抓取。

　　搜索引擎爬虫在下载网页的时候，会去识别网页的HTML代码，在其代码部分会有META标识。通过这些标识，可以告诉搜索引擎爬虫本网页是否需要被抓取，还可以告诉搜索引擎爬虫本网页中的链接是否需要被继续跟踪。例如:表示本网页不需要被抓取，但是网页内的链接需要被跟踪。

现在一般的网站都希望搜索引擎能更全面地抓取自己网站的网页，因为这样可以让更多的访问者能通过搜索引擎找到此网站。为了让本网站的网页更全面地被抓取到，网站管理员可以建立一个网站地图，即SiteMap。许多搜索引擎爬虫会把sitemap.htm文件作为一个网站网页爬取的入口，网站管理员可以把网站内部所有网页的链接放在这个文件里面，那么搜索引擎爬虫可以很方便地把整个网站抓取下来，避免遗漏某些网页，也会减小对网站服务器的负担。

谨记：技术本身是无罪的，只是看人们怎么使用。