如何屏蔽搜索引擎抓取？

    作网站运营尤其是网站排名优化的时候，我们总想着如何来引导搜索引擎蜘蛛来爬行网页，收录。然而，很多时候一些网站因为所真对的用户群体和目标地区不同，并不希望获得搜索引擎的光顾，这个时候我们要如何来解决呢？今天和笔者小丹一起来研究一下吧！

    当我们看到要屏蔽抓取的时候，大多数SEOer想到的都是robots.txt文件。因为在我们的认知中，robot文件可以有效的杜姐搜索引擎抓取某些页面。但是要知道，虽然这个方式很不错，但是更多时候小丹认为它比较适合于在网站没有完成，为了避免之后的死链或者考察期而存在的。
    若单单为了屏蔽某个搜索引擎的抓取，我们大可不必为空间造成负累，只要使用一点简单的代码即可。例如，我们要屏蔽百度蜘蛛的抓取<meta name="Baiduspider" content="noarchive">即可。当然这仅仅是屏蔽百度抓取的方式，如果想要任何一个搜索引擎，只要将Baiduspider更换为改搜索引擎的蜘蛛即可。
    常见搜索引擎蜘蛛名称如下：
    1、baiduspider    百度的综合索引蜘蛛
    2、Googlebot     谷歌蜘蛛
    3、Googlebot-Image    专门用来抓取图片的蜘蛛
   
    4、Mediapartners-Google     广告联盟代码的蜘蛛
    5、Yahoo Slurp    雅虎蜘蛛
    6、Yahoo! Slup China     雅虎中国蜘蛛
    7、Yahoo!-AdCrawler     雅虎广告蜘蛛
    8、YodaoBot    网易蜘蛛
    9、Sosospider     腾讯SOSO综