如何识别假爬虫？

我们在检查网站日志的时候，经常会遇到各种各样的爬虫。有的是正常的爬虫，例如：搜索引擎爬虫（百度搜索引擎爬虫、Google 搜索引擎爬虫，Bing 搜索引擎爬虫、YandexBot 等），还有一些各种功能的爬虫，可以在这里查看：list crawlers。

但是，互联网上并不是所有的爬虫都是有益的，有些爬虫为了极力隐藏自己，于是就会学习真实爬虫的一些特征。还有一些是假爬虫，也就是伪造那些搜索引擎的爬虫，会来抓取你网站的数据，虽然 User-agent 看起来与搜索引擎的无异，但是 IP 却不属于该搜索引擎的，这个时候据需要我们精准的识别这些假爬虫的 IP 地址。

通过