通过Nginx日志检测异常ip并封禁

需求来源

从攻防演练中获得灵感，不需要使用其他防火墙即可实现异常ip拦截

nginx.conf增加配置

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for""$upstream_addr"';
 access_log  /var/log/nginx/access.log  main;   

相关说明解释:
$remot{e}_{a}ddr与$http_x_forwarded_for 用以记录客户端的ip地址
$http_x_forwarded_for 这个似乎取不到值！！！
$remote_user ：用来记录客户端用户名称
$time_local ： 用来记录访问时间与时区
$request ： 用来记录请求的url与http协议
$status ： 用来记录请求状态；成功是200
$body_bytes_s ent ：记录发送给客户端文件主体内容大小
$http_referer ：用来记录从那个页面链接访问过来的
$http_user_agent ：记录客户端浏览器的相关信息
其实nginx access日志的格式不是一成不变的，是可以自定义的
在nginx的nginx.conf配置文件找到：log_format 这里就是日志的格式

shell脚本内容

#!/bin/bash
nginx_access_log=<nginx_log_path>
ip=<nginx_log_path>/ip.txt
# 输出当前时间一个小时前的时间，并转为 02/Aug/2024:11:36，不加en_US.UTF-8时间会变成中文
current_time=$(LC_TIME=en_US.UTF-8 date -d "1 hour ago" "+%d/%b/%Y:%H")
# 输出当前时间一分钟前的时间
grep "\[$current_time" $nginx_access_log | awk '{print $1}' | sort | uniq -c  > ip.txt
for i in $(awk '{print $1}' ip.txt)
do
  if [ $i -gt 500 ]; then # 设置的阈值为一小时500
    denyip=$(grep -F $i ip.txt | awk '{print $2}')  # 获取请求量超过500的ip
    iptables -I INPUT -s $denyip -j DROP  # iptables添加黑名单
    echo $denyip > denyip.txt # 记录写入黑名单的ip
  fi
done

测试

请求测试系统

while true; do curl http://127.0.0.1; done

查看nginx日志

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c

查看被封禁的ip