一、robots
robots主要作用是屏蔽一些不愿意让蜘蛛爬取的内容
如:联系我们,关于我们,动态,声明、死链接需要robots屏蔽
robots放于跟目录,蜘蛛先爬取robots。
可以通过查看日志来了解百度是否来过,如何查看百度蜘蛛是否来过我的网站 。
好处:
1、使网站变得更加纯洁。减少权重的分散!
2、清除站内垃圾
二、语法:
1)User-agent:User-agent:Baiduspider 定义百度
User-agent:googlebot 定义Google
User-agent:* 定义所有的
2)Disallow: 禁止爬去的语法
User-agent:Baiduspider
Disallow:/
User-agent:googlebot
Disallow:/
User-agent:* 禁止爬去所有的文件夹
Disallow:/
User-agent:Baiduspider
Disallow:/admin/ 禁止爬去admin文件夹
User-agent:*
Disallow:/ab/adc.html禁止爬去ab文件夹下面的adc.html所有文件
3)Allow:
当你想搜索引擎只爬取admin这个文件夹下的a.html 和b.html两个文件时 我们可以这样写
User-agent:* 定义所有的文件
Disallow:/admin/ 禁止爬取admin这个文件夹
Allow:/admin/a.html允许爬去
Allow:/admin/b.htmL