robots.txt相关知识点

一：什么是robots.txt ?

      robots.txt是网站和搜索引擎的协议的纯文本文件。

     当一个搜索引擎蜘蛛来访问站点时，它首先爬行来检查该站点根目录下是否存在robots.txt。如果存在，根据文件内容来确定访问范围，如果没有，蜘蛛就沿着链接抓取。robots.txt放在项目根目录下。（ps: 文件名必须全部小写）

二：基本语法 ？

      User-agent:定义禁止搜索引擎名字。百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)等。 *号代表全部搜索引擎                  Disallow:不允许收录

       Allow:允许收录

       #:注释

三：具体实例

1、全站屏蔽所有蜘蛛：

     User-agent: *

     Disallow: /

2、全站允许所有蜘蛛：

     User-agent: *

     Disallow: 

3、屏蔽某个目录，但抓取目录下的文件或文件夹

   如：屏蔽所有蜘蛛抓取根目录下的wap文件夹，但抓取里面后缀名为html文件

         User-agent: /

         Disallow: /wap/

         Allow: /wap/*.html

4、禁止具体搜索引擎的抓取网站，比如百度，禁止百度索引网站

        User-agent: Baiduspider

        Disallow: /

注意： (1). 第一个英文要大写，冒号是英文状态下，冒号后面有一个空格，这几点一定不能写错；

            (2). 路径后面有斜杠和没有斜杠的区别：

                  比如  Disallow: /images/ 有斜杠是禁止抓取images整个文件夹；

                            Disallow: /images 没有斜杠意思是凡是路径里面有/images关键词的都会被屏蔽；

            (3). 出于安全考虑，需禁止浏览器直接访问robots.txt