SEO优化之robost协议

    什么 是Robots协议：

    Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion              Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

　robots的书写有以下几种：
　　1：允许所有搜索引擎爬行，抓取的书写形式：
　　User-agent: *
　　Disallow:
　　或者
　　User-agent: *
　　Allow:/
　　建立一个空白的robots.txt放置在网站根目录下，同样也是起到允许所有搜索引擎爬行抓取的命令!
 

　　2：禁止所有搜索引擎访问
　　User-agent: *
　　Disallow: /
　　或者
　　User-agent: *
　　allow:

　　3：禁止所有搜索引擎访问网站中的几个部分，这里以1,2，3代替目录名称
　　User-agent: *
　　Disallow: /1/
　　Disallow: /2/
　　Disallow: /3/

　　4：禁止某个搜索引擎的访问 
　　User-agent: 某个搜索引擎名称
　　Disallow: /

　　5：只允许某个搜索引擎的访问
　　User-agent: 某个搜索引擎名称
　　Disallow:

　　相关文章推荐:

       SEO优化之HTML头部分常见的标签     https://my.oschina.net/u/2935824/blog/914165

        SEO优化之alt属性和title属性         https://my.oschina.net/u/2935824/blog/914153

转载于:https://my.oschina.net/u/2935824/blog/914171