如何避免搜索引擎爬虫产生的流量过大以及搜索引擎设置优化
转载自:http://www.qiexing.com/post/web-seach-spider.html
今天却收到了虚拟主机商的报告:说当月流量已经超出15G!
登录到后台的统计才发现,正常的网站浏览产生的流量才1G多,而搜索引擎爬虫(也称蜘蛛:spider等)产生的流量却达14G之多!有图为证:
为什么会搜索引擎爬虫会产生这么大的流量,特别是搜狗的爬虫与bspider...
原创
2014-06-17 20:30:42 ·
2411 阅读 ·
0 评论