centos7环境下shell脚本对nginx日志过滤实现恶意ip的封堵

最新推荐文章于 2024-04-05 05:59:02 发布
最新推荐文章于 2024-04-05 05:59:02 发布
阅读量443 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/reblue520/article/details/107439445
版权

centos7环境下shell脚本对nginx日志过滤实现恶意ip的封堵

1.编写监控nginx日志脚本

[root@web:/usr/local/worksh/monitor_ip]# cat monitor_ip.sh
#!/bin/bash
#
# 日志日期格式：[17/Jul/2020:06:10:

# 存放过去5分钟临时日志
filter_log="/data/www/logs/last_filve_min_access.log"
current_log="/data/www/logs/nginx_log/access/my.chinasoft.com_access.log"

# 每次都需要清理一次，否则越累积越多
echo ''> ${filter_log}


# 这是刚开始的写法，这样会有一个问题，当到小时、天、月、年的分界点时会漏掉其中的5分钟日志
function filter_last_five_min_log
{
    # 将过去5分钟的日志单独写入一个文件中
    # # Fri Jul 17 06:17:35 PDT 2020
    day=`date +%d`
    month=`env LANG=en_US.UTF-8 date|awk '{print $2}'`
    year=`env LANG=en_US.UTF-8 date|awk '{print $6}'`
    current_hour=`date +%H`

    # 当前开始，5分钟内的时间
    current_min=`date +%M`
    last_one_min=`date -d "1 minute ago" +"%M"`
    last_two_min=`date -d "2 minute ago" +"%M"`
    last_three_min=`date -d "3 minute ago" +"%M"`
    last_four_min=`date -d "4 minute ago" +"%M"`
    last_five_min=`date -d "5 minute ago" +"%M"`
    for min_num in $current_min $last_one_min $last_two_min $last_three_min $last_four_min $last_five_min;do
    /bin/cat ${current_log} |grep "/chinasoft/login?ramdom="| grep "\[${day}/${month}/${year}:${current_hour}:${min_num}" >> ${filter_log}
    done
}


function current_minute_log
{
    local day=`date +%d`
    local month=`date +%b`
    local year=`date +%Y`
    local current_hour=`date +%H`
    local min_num=`date +%M`
    /bin/cat ${current_log} |grep "/chinasoft/login?ramdom="| grep "\[${day}/${month}/${year}:${current_hour}:${min_num}" >> ${filter_log}
}

function one_minute_log
{
    local day=`date -d "1 minute ago" +"%d"`
    local month=`date -d "1 minute ago" +"%b"`
    local year=`date -d "1 minute ago" +"%Y"`
    local current_hour=`date -d "1 minute ago" +"%H"`
    local min_num=`date -d "1 minute ago" +"%M"`
    /bin/cat ${current_log} |grep "/chinasoft/login?ramdom="| grep "\[${day}/${month}/${year}:${current_hour}:${min_num}" >> ${filter_log}
}

function two_minute_log
{
    local day=`date -d "2 minute ago" +"%d"`
    local month=`date -d "2 minute ago" +"%b"`
    local year=`date -d "2 minute ago" +"%Y"`
    local current_hour=`date -d "2 minute ago" +"%H"`
    local min_num=`date -d "2 minute ago" +"%M"`
    /bin/cat ${current_log} |grep "/chinasoft/login?ramdom="| grep "\[${day}/${month}/${year}:${current_hour}:${min_num}" >> ${filter_log}
}

function three_minute_log
{
    local day=`date -d "3 minute ago" +"%d"`
    local month=`date -d "3 minute ago" +"%b"`
    local year=`date -d "3 minute ago" +"%Y"`
    local current_hour=`date -d "3 minute ago" +"%H"`
    local min_num=`date -d "3 minute ago" +"%M"`
    /bin/cat ${current_log} |grep "/chinasoft/login?ramdom="| grep "\[${day}/${month}/${year}:${current_hour}:${min_num}" >> ${filter_log}
}

function four_minute_log
{
    local day=`date -d "4 minute ago" +"%d"`
    local month=`date -d "4 minute ago" +"%b"`
    local year=`date -d "4 minute ago" +"%Y"`
    local current_hour=`date -d "4 minute ago" +"%H"`
    local min_num=`date -d "4 minute ago" +"%M"`
    /bin/cat ${current_log} |grep "/chinasoft/login?ramdom="| grep "\[${day}/${month}/${year}:${current_hour}:${min_num}" >> ${filter_log}
}

function five_minute_log
{
    local day=`date -d "5 minute ago" +"%d"`
    local month=`date -d "5 minute ago" +"%b"`
    local year=`date -d "5 minute ago" +"%Y"`
    local current_hour=`date -d "5 minute ago" +"%H"`
    local min_num=`date -d "5 minute ago" +"%M"`
    /bin/cat ${current_log} |grep "/chinasoft/login?ramdom="| grep "\[${day}/${month}/${year}:${current_hour}:${min_num}" >> ${filter_log}
}

function count_last_logs
{
    # 将过去5分钟撞库的日志ip记录下来，并统计次数
    malice_access_ips="/data/www/logs/malice_access_ips.log"
    /bin/cat ${filter_log} |grep "/chinasoft/login?ramdom="|awk '{print $1}'|sort -r|uniq -c|sort -r -n|head -300 > ${malice_access_ips}
}


function count_filter_ip
{
    # 读取统计的ip次数，如果一个ip撞库次数超过100次，则防火墙拉黑
    while read line
    do
    access_num=`echo $line|awk '{print $1}'`
    access_ip=`echo $line|awk '{print $2}'`
    # 
    if [[ $access_num -gt 100 ]];
    then
        drop_ip=`iptables -nvL |grep ${access_ip}|awk '{print $8}'`
        if [[ ${access_ip} = ${drop_ip} ]];then
            # 如果已经被拉黑则跳过这个ip
            continue
        fi
        
        company_ip=`grep ${access_ip} /usr/local/worksh/monitor_ip/company_ips.txt`
        if [[ ${access_ip} = ${company_ip} ]];then
            # 如果是公司IP跳过
            continue
        fi

        iptables -I INPUT -s ${access_ip} -j DROP
        echo "access_nu="${access_num} "access_ip="${access_ip}
    fi
    done < ${malice_access_ips}
}


function main
{

    # 筛选过去5分钟的日志
    current_minute_log
    one_minute_log
    two_minute_log
    three_minute_log
    four_minute_log
    five_minute_log

    # 统计ip的次数
    count_last_logs
    # 过滤符合要求的ip
    count_filter_ip
}

main

2.计划任务
# 每5分钟统计一次访问日志，如果5分钟内同一个ip撞库超过100次就拉黑这个ip地址
*/5 * * * * /bin/bash /usr/local/worksh/monitor_ip/monitor_ip.sh >/dev/null 2>&1

# 防火墙的示例
[root@web:/usr/local/worksh/monitor_ip]# iptables -nvL
Chain INPUT (policy DROP 1786 packets, 81061 bytes)
 pkts bytes target     prot opt in     out     source               destination         
   20  1124 DROP       all  --  *      *       1.1.1.1                0.0.0.0/0           

# 公司IP地址
[root@web:/usr/local/worksh/monitor_ip]# cat company_ips.txt
1.1.1.1
1.1.1.2
1.1.1.3

日志示例
[root@web:/usr/local/worksh/monitor_ip]# tail -n 5 /data/www/logs/nginx_log/access/my.chinasoft.com_access.log
103.147.118.3 - - [17/Jul/2020:07:10:00 -0700] - - "POST /chinasoft/login?ramdom= HTTP/1.1" 200 65 "http://my.chinasoft.com/user/login" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" 0.223
36.71.239.228 - - [17/Jul/2020:07:10:00 -0700] - - "GET /static/jslibs/jquery.uid.js HTTP/1.1" 200 497 "https://pdf.chinasoft.com/how-to/convert-pdf-to-word.html?gclid=CjwKCAjwmMX4BRAAEiwA-zM4JmOMdq6wDpFgAOMdKNbJv1tHWCiJmDEHlKbVmUtobEFuHZQF7FP6rBoC360QAvD_BwE" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36" 0.000
91.74.26.54 - - [17/Jul/2020:07:10:00 -0700] - - "GET /static/jslibs/jquery.uid.js HTTP/1.1" 200 497 "https://web.chinasoft.com/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36 Edg/83.0.478.64" 0.000
46.8.247.3 - - [17/Jul/2020:07:10:00 -0700] - - "POST /chinasoft/login?ramdom= HTTP/1.1" 200 65 "http://my.chinasoft.com/user/login" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" 0.320
14.116.204.164 - - [17/Jul/2020:07:10:00 -0700] - - "POST /chinasoft/login?ramdom= HTTP/1.1" 200 65 "http://my.chinasoft.com/user/login" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" 1.609

reblue520
关注
我是如何通过Nginx日志实时封禁风险IP的
草堂笺
11-17 1万+
实时采集并分析Nginx日志, 自动化封禁风险IP方案 文章地址: https://blog.piaoruiqing.com/2019/11/17/block-ip-by-analyzing-nginx-logs/ 前言 本文分享了自动化采集、分析Nginx日志并实时封禁风险IP的方案及实践. 阅读这篇文章你能收获到: 日志采集方案. 风险IP评估的简单方案. IP封禁策略及方案. 阅读本...
linux（centos）tail 日志时过滤信息命令
指尖艺术的博客
04-26 2295
常规显示实时日志（比如日志文件名称叫server.log）:现在因为日志里有一个打印出现的频率非常高，又不是我们想看的可以用过滤命令:过滤多个条件:
nginx访问日志过滤IP和状态码
weixin_49763009的博客
12-15 3810
注意nginx版本必须大于等于1.70 自定义访问日志格式 log_format mylogformat '"$remote_addr" "[$time_local]" "$request_method" ' '"$uri" "$request_uri" "$request_time" "$status" "$body_bytes_sent"' '"$http_referer" "$http_x_forwarde
教你如何在centos7服务器中屏蔽掉那些高流量ip
u011926899的专栏
11-11 2893
首先，告诉你在centos7中没有iptables，取而代之的是firewall，因此你要想屏蔽那些恶心的高流量，对不起iptables不行，命令如下 祝你好运。如果要剔除规则请吧add改成remove，然后重载防火墙。 # firewall-cmd --permanent --add-rich-rule="rule family=ipv4 source address=192.168.1....
CENTOS 7 添加黑名单禁止IP访问服务器
MR.骑士道
12-05 2352
只需要把ip添加到 /etc/hosts.deny 文件即可，格式 sshd:$IP:deny。
nginx中shell脚本封锁采集IP地址
收集盒 Book box
06-18 1383
本文介绍下，在nginx环境中，使用shell脚本封锁那些采集自己网站内容的IP地址，不错的想法，实现起来也简单，有需要的朋友参考下。 本文主要内容： 封采集网站IP的shell脚本 实现思路： 分析Nginx日志，比如分析最后50000条记录，如果同一个IP访问了1000以上，基本可以肯定这个是有人在采集，当然封之前要判断好，不要连搜索引擎蜘蛛的IP都封了，一定要谨慎。 方法：
CentOS7 自动化搭建Nginx+PHP7+Mysql+Docker+Docker-Compose Shell脚本
10-19
CentOS7 自动化搭建Nginx+PHP7+Mysql+Docker+Docker-Compose Shell脚本，Docker version 18.06.1-ce，docker-compose version 1.22.0
CentOS 7.0下nginx实现每天定时分割日志
01-20
环境说明: ...新建的定时脚本位置/shell/nginx/logs.sh 1.新建脚本并执行 #mkdir /shell/nignx #cd /shell/nginx #vim logs.sh #!/bin/bash base_path='/var/log/nginx' log_path=$(date -d yesterday +
详解CentOS下Nginx如何禁止IP访问
09-15
服务器的安全相信是每位运维人员最关心的问题，不知道大家在使用的时候会不会遇到很多的恶意IP攻击，最近公司的服务器就遇到了这个问题，这个时候就要用到Nginx 禁止IP访问了。本文介绍了详细的步骤，有同样问题的...
Centos7_shell脚本一键安装httpd_nginx_php_jdk_kafka_psql__bash
最新发布
09-18
Centos7_shell脚本一键安装httpd_nginx_php_jdk_kafka_psql__bash-shell
linux下shell处理nginx日志自动生成ip黑名单
01-20
#shell脚本处理nginx日志自动生成ip黑名单 ##统计访问量前10名的ip并写入文件 #!/bin/bash data=`date +%Y-%m-%d` #统计访问量最高的前10ip awk '{print $1}' '/PATH/'$data'.log' | sort -n |uniq -c | sort -rn | head -n 10 >>/PATH/ip10-$data.txt ##blackip.sh 判断ip访问次数是否超过限定值，是就加入黑名单中 #!/bin/bash #获取当前日期 data=`date +%Y-%m-%d` #blacklist目录要自己生成，
分析nginx日志并屏蔽采集者ip（nginx屏蔽ip配置实例）
09-30
主要介绍了分析nginx日志并屏蔽采集者ip（nginx屏蔽ip配置实例）,本文先是讲解了分析需要屏蔽日志的方法,然后讲解了Nginx中屏蔽IP的配置方法,需要的朋友可以参考下
centos7下shell脚本部署ansible
Lil Nas X的博客
11-22 4643
　ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。 本文采用shell脚本的方式来部署非常方便
centos7 自动封禁恶意登录IP，【好文推荐
2201_75604341的博客
04-05 1268
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！
基于Nginx日志的自动封异常ip和解封脚本
jy8655790的博客
08-14 1029
基于Nginx日志的自动封异常ip和解封脚本（基本可用于生产环境） 设计思路： 1.每五分钟统计一次日志异常ip 2.被封的异常ip一小时后自动解封 3.尽量减少对Nginx的重启，完成全部判断后再去考虑是否重启Nginx进程 4.黑名单ip采用非iptable，使用将deny+ip语句加入blockip.conf中（后期解封比较好处理），并且在上述语句块中nginx.conf中include此文件(blockip.conf可以根据需要放入http 语句块、server 语句块、location 语句块)
Linux 针对nginx日志文件做ip防刷限制
weixin_30318645的博客
06-02 147
针对nginx日志做ip访问限制 1.cat /var/log/server/nginx/access.log| awk -F '?' '/optionid/{print $1}'|awk '{print $1}' 获取含有optionid字符串行的行的ip 2.sort -r| uniq -c |sort -nr |awk '$1>1000{print $2}' >/var/lo...
用nginx封ip，通过shell脚本将恶意访问的ip封禁
qq_35946335的博客
08-23 2092
最近服务器被恶意攻击，顾将这些访问次数达到一定数值的ip使用nginx做封禁ip的操作。本文将使用shell脚本分析nginx生成的日志，自动封单个ip访问量大于指定值。 因为需要分析nginx的日志，所以我们需要将nginx的日志进行分割处理，因为日志太大，消耗的系统资源也就越多。日志分割可以按天分割，也可以按小时分割。我们的access.log是按天进行分割的。 首先选择一个目录，新建一个...
PAAS平台的web应用性能测试与分析
weixin_30297281的博客
04-22 131
引言 为什么我会写这一篇博客，因为最近很多京东云擎jae的用户反应一个问题就是他们部署在jae上面的应用访问很慢，有极少数应用甚至经常出现504超时现象，当然大家首先想到的是jae性能太差，这也是人之常情，往往出现什么错误的时候首先想到是别人的不好，工作中很多同事也是这样，如果软件系统出现一个bug首先怀疑的肯定不是自己写的代码。今天花时间写这一篇博客主要就是告诉大家怎样确定我们部署在PAAS平...
Centos 7周期性任务、日志rotation、过滤和core压缩的实现
weixin_33836874的博客
12-12 132
Centos 7周期性任务日志rotation、过滤和core压缩的实现1.centos7中cron脚本及其调用脚本的实现示例[root@localhost cron.d]# pwd/etc/cron.d[root@localhost cron.d]# cat syslog# Run mysys activity accounting tool every 10 minute...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值