本文讲述了作者的网站遭遇Bytespider爬虫导致服务器CPU使用率异常升高的问题，以及采取的两种解决方案：通过阿里云Web应用防护无效，最终采用拉黑IP段的方式成功解决问题，使服务器CPU恢复正常。还提到了另一种通过Nginx配置拉黑IP的备选方案。
早上打开网站，发现超级卡，以为是网速原因，调试了路由器无济于事，都说重启大法好，重启那就重启web服务试试，可惜依旧没用，不过重启的时候发现CPU彪到99，我还以为是被谁Doos了。
发现问题：
查看日志发现是来自于Bytespider的爬虫。
服务器配置是4H8G10M，基本上中型 网站这配置都够了，我还是刚搭建的没有什么流量，就被这Bytespider给拖垮了。
爬虫IP基本上都是来源石家庄，而且是同IP段，一直在爬取，网上找有的说是头条的蜘蛛（没有证据）。
解决思路：
1.因为我没有服务器的登录权限，所以我猜想用CC防护和web应用防护能否阻挡呢？
使用阿里云最基础的“web应用防护”，开启后并没有什么效果，5分钟过去，cpu依旧99%。
2.推测使用拉黑IP段的方式来解决。
先整理出这些爬虫的IP段：
60.8.165.0/24
111.225.0.0/
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
