最近在做的简单购享网站遇到个问题,文章评分模块由于使用了带token的Ajax链接,会产生很多不同的URL,而每次搜索引擎访问链接都会触发评分,导致产生很多虚假的评分。尝试过robot.txt屏蔽和ip屏蔽。robot.txt未成功,ip倒是可以,但又担心屏蔽掉正常的访问。后来google到一个判断函数,Discuss里的。
这是利用了搜索引擎的USER_AGENT进行判断,例如Google为GoogleBot,百度为Baiduspider,基本上所有的搜索引擎都会包含Bot|Crawl|Spider等这样的字符表明Robot身份。