淘宝是如何利用robots.txt：百度蜘蛛被淘宝禁了？

前两天在网上看到个新闻说淘宝泄露了个人信息，在google中用site指令可以查看其他人的信息泄露，我觉得这可能是真的。现在肯定是看不到了，淘宝进行了处理，处理的方法我觉得挺暴力，直接用robots文件让搜索引擎禁止访问了。今天我才发现这个现象，而且是有图有真相，目前在百度中搜索淘宝，如下结果：   从理论上推测，这是使用robots文件把百度的蜘蛛给禁止了，所以爬行不到其他信息，如何使用robot请参考： 网站下面没有robots.txt怎么办？ 好了，我再确认一下，淘宝是把所以的搜索引擎蜘蛛都禁止了还是仅仅禁止了百度的蜘蛛？ 我用google搜索淘宝，结果如下：   360综合搜索淘宝的结果：   根据以上的搜索结果显示我们淘宝对百度是区别对待的，仅仅禁止了百度的搜索引擎蜘蛛，其他的搜索引擎结果都显示正常。难道淘宝和百度又开始新的“战争”了？ 总结：robots是很有用的，可以用在各种情况。淘宝就是利用robots文件把百度的蜘蛛给禁用了。我们一定要用好robots文件。

转载于:https://www.cnblogs.com/vsdot/archive/2013/04/19/3263344.html