什么 是Robots协议:
Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。
robots的书写有以下几种:
1:允许所有搜索引擎爬行,抓取的书写形式:
User-agent: *
Disallow:
或者
User-agent: *
Allow:/
建立一个空白的robots.txt放置在网站根目录下,同样也是起到允许所有搜索引擎爬行抓取的命令!
2:禁止所有搜索引擎访问
User-agent: *
Disallow: /
或者
User-agent: *
allow:
3:禁止所有搜索引擎访问网站中的几个部分,这里以1,2,3代替目录名称
User-agent: *
Disallow: /1/
Disallow: /2/
Disallow: /3/
4:禁止某个搜索引擎的访问
User-agent: 某个搜索引擎名称
Disallow: /
5:只允许某个搜索引擎的访问
User-agent: 某个搜索引擎名称
Disallow:
相关文章推荐:
SEO优化之HTML头部分常见的标签 https://my.oschina.net/u/2935824/blog/914165
SEO优化之alt属性和title属性 https://my.oschina.net/u/2935824/blog/914153