robots 协议

网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
在网站根目录下放一个robots.txt文本文件，因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。

禁止所有机器人访问
    User-agent: *
    Disallow: /
允许所有机器人访问
    User-agent: *
    Disallow: 
禁止特定机器人访问
    User-agent: BadBot
    Disallow: /
允许特定机器人访问
    User-agent: GoodBot
    Disallow: 
禁止访问特定目录
    User-agent: *
    Disallow: /images/
仅允许访问特定目录
    User-agent: *
    Allow: /images/
    Disallow: /
禁止访问特定文件
    User-agent: *
    Disallow: /*.html$
仅允许访问特定文件
    User-agent: *
    Allow: /*.html$
    Disallow: /