夺命雷公狗—玩转SEO---77---robots的玩法

robots是一种协议，主要是告诉搜索引擎什么东西可以抓，什么东西不让他抓。

而且robots.txt是蜘蛛访问的第一个文件，所以我们需要参与排名的页面都要写进去~~！

我们需要做的就是告诉搜索引擎抓高质量的，不抓低质量的，欺骗搜索引擎认为我们网站整体都是挺好的，从而获取最好的排名。

使用我们需要到网站根目录下创建一个  robots.txt   的文件,如下所示：

我们可以看一下淘宝的玩法：

 

 

由上图可以看出来，淘宝这么大的网站他都是有写robots.txt文件的，搜索引擎是按照上面的标识来进行抓取网站的数据的~~！

 

User-agent: Baiduspider

这里主要是告诉百度蜘蛛来抓取的

 

Disallow: /

禁止抓取

 

User-agent: *
Disallow: /

如果这样标注着，那么代表着所有的文件搜索引擎均不能抓取

 

User-agent: *
Disallow: /Admin

禁止搜索引擎爬行到Admin文件夹

 

User-agent: *
Disallow:/Admin
Allow:/Admin/images/123.png

Admin目录禁止爬虫抓取，但是又可以让搜索引擎抓取到 Admin   目录下的   images  目录下的  123.png

 

到了这里我们就开始编写自己的robots文件了，如下所示：

保存后放置到网站根目录，然后登陆站长平台：

然后校验一下：

 

这样即可完成了robots全套操作咯~~！

转载于:https://www.cnblogs.com/leigood/p/11313723.html