learner2006的博客

原创 禁止搜索引擎爬虫抓取网站方法小结

本文主要通过查找网上资料，简单总结一下禁止搜索引擎爬虫抓取网站的方法。一般情况，大家都是希望搜索引擎爬虫尽可能多的抓取自己的网站，但有时也需要告诉爬虫不要抓取，比如，不要抓取镜像页面等。搜索引擎抓取自己的网站有它的好处，也存在许多常见问题：1.网络堵塞丢包严重（上下行数据异常，排除DDOS攻击，服务器中毒。异常下载，数据更新）2.服务器负载过高，CPU几乎跑满（针对相应的服务配...