为什么写了robots还是被百度抓取收录了？

今天在搜外问答看到了这样一个问题，回答的很多，但是很多人都说错了一个概念。

我今天来给大家详细讲解下，先了解几个概念

1、robots只是禁止抓取，不是禁止收录

2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重

了解这2个概念后，我们再来讨论怎么处理这类收录问题：

robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？

大家百度查一下淘宝，如图：

按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，

全部都禁止了，依然收录了1亿多条链接

看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！