腾讯SOSO为了扩充自己的索引量,已经无视Robots.txt(也许从来没遵守过)。测试的一个目录,在协议中禁抓了也被收录了!
转载于:https://www.cnblogs.com/pittzh/archive/2010/02/25/1673169.html
腾讯SOSO为了扩充自己的索引量,已经无视Robots.txt(也许从来没遵守过)。测试的一个目录,在协议中禁抓了也被收录了!
转载于:https://www.cnblogs.com/pittzh/archive/2010/02/25/1673169.html