禁止文件被蜘蛛程序查看的说明

Disallow（禁止）：禁止指明了具体那个文件蜘蛛程序不能查看，可以指定精确的文件名或者任意文件，甚至是目录名的一部分，比如：
User-agent: * （所有蜘蛛）
Disallow: /（所有文件被禁止查看）
User-agent: Baiduspider （百度蜘蛛）
Disallow: /admin （根目录下任何以admin开头的目录和文件）
User-agent: * （所有蜘蛛）
Disallow: /admin/（admin目录和该目录下的任何文件）
意外的失误对网站带来的影响很普遍，在网站上线之前可能会对整个网站暂时屏蔽，但上线以后往往忙于其他事情而忘记该文件的更正，导致网站不能正常被搜索引擎收录。

除了robots.txt文件外，还应该注意元标记也可能会导致同样的问题，但这类情况往往很少。