记录一下 nginx shell 脚本扫描日志添加 IP 黑名单

#!/bin/bash
date_Y_m_d=`date +%Y-%m-%d`
date_30m_ago=`date -d  '20 minute ago' +%H:%M`
date_now=`date +%H:%M`
log_path='/www/wwwlogs'

cd /www/wwwlogs/

log_file=$(ls *.log)
black_ip_file=/www/server/panel/vhost/nginx/black_ip_file
tmp_black_ip=/tmp/black_ip.log
black_ip_all=/www/server/panel/vhost/nginx/black_ip_all.conf
nginx_cmd=/bin/nginx

cd ${log_path}

for i in $log_file;do

#echo $i

#echo ${date_Y_m_d}T${date_30m_ago}
#echo ${date_Y_m_d}T${date_now}


tail -n 100000 $i|egrep '\/sms\/' |sed -n "/${date_Y_m_d}T${date_30m_ago}/,/${date_Y_m_d}T${date_now}/p"  | awk '{print $1}' | sort -rn |uniq -c |awk '{if ($1 > 10) print "deny "$2";" }' | tee $tmp_black_ip

echo  $tmp_black_ip
  project_name=$(echo $i|awk -F '.' '{print $1}')

echo $project_name

  cat ${black_ip_file}-${project_name}.conf >> ${black_ip_all}

  grep -v -f ${black_ip_file}-${project_name}.conf ${tmp_black_ip} >>  ${black_ip_file}-${project_name}.conf

echo ${black_ip_file}-${project_name}.conf


done

##重启nginx
date >> /www/script_qgx/run.log
echo restart nginx >> /www/script_qgx/run.log

${nginx_cmd} -s reload >> /www/script_qgx/run.log

 

代码从网上找了下，做了一些修改。

有以下新老知识点:

1. awk 分割字符串，获取参数

2. sort -rn | uniq -c

3. nginx 配置的时间格式 logformat  , 设置不同的时间格式时，可以使用两种格式的时间 xxxx

4. sed -n 可以查询日志的时间范围。据说如果刚好没有该时间日志，就查不出来结果