Httpd - Apache Web 服务器 禁止一切爬虫

最近发现自己的一个网站服务非常卡顿，服务请求非常慢，几乎接近崩溃的状态。查看服务进程日志，服务被疯狂CC攻击,如下图：

这边对一些入侵的IP加入了服务黑名单，过后服务的缓解了一些，但是相对应的出现的百度等相关的爬虫脚本疯狂对服务进行疯狂攻击，查阅了一些相关资料，对服务一些配置文件进行修改，具体如下步骤：

反扒内容配置robots.txt

在指定位置新建一个配置文件 robots.txt，文件内容：

User-agent: *
Disallow: /

配置 httpd.conf 文件:

# Exclude all robots
<Location "/robots.txt">
    SetHandler None
</Location>
Alias /robots.txt /path/to/robots.txt

SetHandler指令可能不是必需的，但如果您使用诸如 mod_python 之类的处理程序，则可能需要它。

技术参考：https://www.yixzm.cn/blog/524025.html