robots.txt
- 告诉搜索引擎网站哪些页面可以被收录,哪些不能
检查某些网站的robots.txt:
http://zhanzhang.baidu.com/robots/analysis
如何做robots.txt:
http://zhanzhang.baidu.com/robots/generator
robots.txt
检查某些网站的robots.txt:
http://zhanzhang.baidu.com/robots/analysis
如何做robots.txt:
http://zhanzhang.baidu.com/robots/generator