指定时间内网站访问次数的监控

最新推荐文章于 2023-02-13 08:01:17 发布
最新推荐文章于 2023-02-13 08:01:17 发布
阅读量450 收藏
点赞数
分类专栏： Nginx 文章标签： 运维
原文链接：https://www.cnblogs.com/kevingrace/p/8482444.html
版权

需求说明：
在日常运维工作中，为了防止一些恶意访问的行为，例如不断的请求刷流量，通过实时过滤Nginx访问日志，将单位时间内访问次数达到指定阀值的来源ip查找出来，并通过邮件报警方式及时通知运维人员！

比如针对url为http://192.168.10.202:8888的访问进行监控，当在1分钟内访问次数超过300次数，就邮件报警给运维人员。
1）nginx日志监控脚本

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

[root@Fastdfs_storage_s1 ~]# cat /opt/nginx_log_monit.sh

#!/bin/bash

#日志文件

logfile=/usr/local/nginx/logs/access.log

   

#开始时间

start_time=`date -d"$last_minutes minutes ago" +"%H:%M:%S"`

   

#结束时间

stop_time=`date +"%H:%M:%S"`

   

#过滤出单位之间内的日志并统计最高ip数

tac $logfile | awk -v st="$start_time" -v et="$stop_time" '{t=substr($4,RSTART+14,21);if(t>=st && t<=et) {print $0}}' \

| awk '{print $1}' | sort | uniq -c | sort -nr > /root/log_ip_top10

ip_top=`cat /root/log_ip_top10 | head -1 | awk '{print $1}'`

# 单位时间[1分钟]内单ip访问次数超过300次，则触发邮件报警

if [[ $ip_top -gt 300 ]];then

 /usr/bin/python /opt/send_mail.py &

fi

2）python报警脚本

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

[root@Fastdfs_storage_s1 ~]# cat /opt/send_mail.py

# -*- coding: utf-8 -*-

from email import encoders

from email.header import Header

from email.mime.text import MIMEText

from email.utils import parseaddr, formataddr

from email.mime.multipart import MIMEMultipart

from email.mime.base import MIMEBase

from datetime import datetime

import os

import smtplib

def _format_addr(s):

 name, addr = parseaddr(s)

 return formataddr((Header(name, 'utf-8').encode(), addr))

# 邮箱定义

smtp_server = 'smtp.kevin.com'

smtp_port = 465

from_addr = 'monit@kevin.com'

password = os.environ.get('monit@123')

to_addr = ['wangshibo@kevin.com']

# 邮件对象

msg = MIMEMultipart()

msg['From'] = _format_addr('发件人 <%s>' % from_addr)

msg['To'] = _format_addr('收件人 <%s>' % to_addr)

msg['Subject'] = Header('Warning:单ip请求次数异常', 'utf-8').encode()

# 获取系统中要发送的文本内容

with open('/root/log_ip_top10', 'r') as f:

 line = f.readline().strip()

 line = line.split(" ")

print(line)

# 邮件正文是MIMEText:

html = '<html><body><h2>一分钟内单ip请求次数超过阀值</h2>' + \

 '<p>ip:%s  请求次数/min:%s</p>' % (line[1],line[0]) + \

 '</body></html>'

msg.attach(MIMEText(html, 'html', 'utf-8'))

server = smtplib.SMTP_SSL(smtp_server, smtp_port)

server.login(from_addr, password)

server.sendmail(from_addr, to_addr, msg.as_string())

server.quit()

3）写个测试脚本不停curl请求资源触发报警

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

[root@Fastdfs_storage_s1 ~]# cat /opt/curl.sh

#!/bin/bash

#example：curl.sh http://www.kevin.com 100

usage()

{

 echo "usage: `basename $0` url count"

}

if [ $# -ne 2 ]; then

 usage

 exit 1

fi

for i in `seq 1 $2`;do

 http_code=`curl -o /dev/null -s -w %{http_code} $1`

 echo $1 $http_code

done

手动执行测试脚本

[root@Fastdfs_storage_s1 ~]# /bin/bash /opt/curl.sh http://192.168.10.202:8888 300

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

http://192.168.10.202:8888 200

...........

4）定时任务，由于上面脚本是监控一分钟内的日志，因此每分钟执行一次

1

2

[root@Fastdfs_storage_s1 ~]# crontab -e

* * * * * /bin/bash -x /opt/nginx_log_monit.sh >/dev/null 2>&1

这里仅仅是实现了邮件告警功能，实际上还可以实现自动屏蔽恶意访问的ip。
可以通过Nginx deny来实现，也可以通过iptables屏蔽（"iptables -I INPUT -s x.x.x.x -j DROP"方式）。

*************** 当你发现自己的才华撑不起野心时，就请安静下来学习吧！***************

诸葛钢铁云
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java记录访问次数_Java 利用监听器来实现记录用户访问网站次数(示例代码)
weixin_30621659的博客
02-17 2435
假如有这么一个需求，要记录所有用户访问某一页面的次数。最先想到的可能是在该Controller定义一个静态成员，然后在相应Action里自增。但这样有一个问题，就是Tomcat或者其他服务器重启的话，这个值是没办法保存的。当然在数据库中直接保存也是可以的，但因此便要去单独建张表，日后用户访问相应页面都要去访问数据库维护该表有点不值得。利用自定义ServletContextListener可以很方便...
如何监测网站浏览量
SLife4599的博客
08-15 2392
  当我们有了自己的网站，那么肯定会想知道自己的网站访问情况怎样（不想的。。。），在这呢，我给大家提供一种比较简单实用的检测方法。 百度统计 百度统计呢，是百度出的一款免费的统计测试，不需要下载软件，直接在浏览器上打开这个网站：https://tongji.baidu.com/web/welcome/login，就可以直接到登录界面了，只有有百度账号就可以了。点击默认的是百度商业账号，需要自己切换到百度账号。 登录成功之后，在代码管理里有，一项代码获取，点击复制按钮直接复制代码，我这强烈建议不要直接用
【Docker】用开源umami监控你的站点访问量
最新发布
慕雪华年的博客
02-13 1156
umami是一个开源的站点访问量监看程序，其支持docker部署到自己的服务器上。相比较百度等收费的网站信息监看，这种方式对于小站长来说更加实惠一些。
获取单位时间内的访问量
marcocs410的博客
03-08 326
这个应该很简单吧，搞四个全局变量：totalCount（总接收到的业务请求数）；lastCount/lastCountTime（上次计算业务处理量的时间以及当时的totalCount值）； releasedRequestCount（已经释放了的请求数）或者pendingCount（尚未释放的请求数）， 没来一个请求就totalCount++以及pendingCount++；每完成一个业务请求就...
网站url监控脚本（告警）
story-xu的博客
08-09 3436
描述： 在日常的工作中，可能会需要同时对数百个甚至更多的url进行监控，通过浏览器访问的话，太过繁琐且效率低下，因此，针对这种场景，在公司没有监控系统的情况下，可以使用下面的脚本，通过url的返回值，对系统情况进行最直接的初步判断及检查，有兴趣的可以进行扩展。 功能： 通过对url的返回值进行判断，并产生告警邮件； 附： 邮箱的配置及定时任务的设置方式这里省略，大家可以去网上查找方法； ...
shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询）
09-15
例如，如果发现某个页面访问次数高且平均耗时较长，那么就可以针对这个页面进行代码优化、缓存策略调整或数据库查询优化等措施，以提升网站的整体性能。 总之，通过这个`shell`脚本，我们可以有效地监控`nginx`日志...
使用cookie实现统计访问者登陆次数
12-18
这个例子中，每次访问页面，`counter`的值都会增加，从而实现了访问次数的累加。 2. **HTTP交互过程**： 浏览器向服务器发起HTTP请求（如GET方法），携带必要的头部信息，如`User-Agent`、`Accept-Language`等。...
Druid数据库连接池及内置监控的配置和使用.zip
09-23
- **StatFilter**：统计SQL执行信息，如执行次数、执行时间等。 - **WallFilter**：防止SQL注入，检查SQL语句的安全性。 - **WebStatFilter**：将监控信息暴露到HTTP请求，便于通过网页查看。 - **配置监控统计...
dubbo监控中心
05-14
通过监控中心，我们可以获取到服务的调用次数、平均响应时间、成功率等关键指标，这些数据对于优化服务性能、定位故障点具有极大价值。 监控中心的实现依赖于`dubbo-monitor`组件，这里的`dubbo-monitor-2.5.3`便是...
简单网站访问量计数器
05-06
5. **站总访问量**：自网站开通以来的总访问次数。这是衡量网站整体受欢迎程度的一个长期指标。 6. **开通总天数**：网站自上线以来的天数。结合总访问量，可以计算出平均每天的访问次数，进一步了解网站的平均活跃...
使用ServletRequestListener监听器实现对网站访问流量的监控
单调枯燥的CC的博客
03-08 1056
使用ServletRequestListener监听器接口能够监听每一条的request请求的产生和销毁来记录网站的访问量，使用ServletContextListener接口设置和读取全局的变量，requestInitialized产生的request数据，记录每一条request和产生的时间放在全局变量ServletContext，在全局都能拿到该访问数据，剩下就是对数据的展示
2个小时拿下Perl语言：自动监控服务器内网站访问ip次数并预警(附源码)
其实我不是代码教父,我只是猪头三
08-13 5501
[作者] 网名: 猪头三 站点: http://www.x86asm.com Email: pliceman_110@163.com QQ: 643439947 编程生涯: 2001～至今[2014年] 职业生涯: 11年 开发语言: C/C++; x86asm; Object Pascal; C#; 开发工具: VC++; Delphi; 研发领域: Windows应用软件安全
php如何判断登录次数,使用cookie实现统计访问者登陆次数
weixin_39888412的博客
03-10 336
复制代码 代码如下:$_COOKIE["counter"]?($c=$_COOKIE["counter"]+1):($c=1);setCookie("counter",$c,time()+60);echo "欢迎您第"."".$c."次访问cookie";?>在这个应用程序中，首先是浏览器请求一个资源(这个php页面) ,发送下面的HTTP包头内容到服务器：GET http://localh...
netty监听ip地址时只能监听本地地址而不能监听其他ip地址例如云服务器的原因
Lemon_MY的博客
07-03 2059
首先，对于一个程序来讲，它所绑定的IP只能是其所在机器（无论物理机还是虚拟机）上的某个网卡的IP地址，这个你可以到机器上运行ifconfig查看。 其次，所谓绑定的含义是规定程序能够监听到哪个目的地IP的IP包，比如机器有两个网卡A和B，IP地址分别是AIP和BIP，你的程序绑定AIP，那么操作系统只会将目的地是AIP的IP包转发给你的程序。0.0.0.0是特殊的，它代表着能够转发目的地IP是机器上任意IP的IP包到你的程序。 最后，为何可以通过公网IP访问到你的机器？这是因为云服务商给你做了NAT，而这个
利用监听器(Listener)实现用户访问记录
cpongo11的博客
08-13 1487
自定义监听器(Listener) 1. 当用户访问网站时，先判断用户的session是否为new； 2. 如果该session为new，获取用户的真实IP，查询数据库对应的今天访问信息是否有该IP； 3. 如果数据库中没有该IP信息，就将该IP添加进数据库； （获取用户详细信息：包括userAgent、系统、浏览器信息等。）注意： 在判断用户今天是否访问过该系统...
Python监控日志中经常访问的ip
weixin_30662849的博客
10-16 161
一、需求：每分钟检查一次日志文件，如果这一分钟内同一个ip请求次数超过200次，加入黑名单 1、日志文件中，每一行的格式为：XXX.XXX.XXX.XXX - - [04/Jun/2017:05:25:04 +0800] "GET... 2、第一步：取出每一行的ip 3、第二步：统计出现次数超过200的ip 4、第三步：每一分钟重新读取一次日志文件，文件中之前已经读取过的内容无需...
linux防火墙拒绝访问,过滤nginx日志并添加防火墙拒绝访问 centos7
weixin_32352621的博客
05-12 202
#/bin/bash#日志文件logfile='/var/log/nginx/access.log'hours=1#开始时间start_time=date -d "-$hours hour" +"%H:%M:%S"#echo $start_time#结束时间stop_time=date +"%H:%M:%S"#echo $stop_time#过滤出单位之间内的日志并统计最高ip数array=($(...
利用Redis实现单位时间内请求次数限制
四维空间
03-02 5512
PS：原创文章，如需转载，请注明出处，谢谢！      本文地址：http://flyer0126.iteye.com/blog/2411999   问题需求：   用户请求发短信接口限制规则，10分钟之内请求超3次即显示图形验证码（需要先验证图形验证码通过后再发送短信）。   解决思路： 利用Redis List数据格式； key：ImageCode_RequestLimit...
使用aop+redis+注解 实现 限制单位时间内访问接口的次数
临窗，听雨声
06-17 3243
今天上午看博客，看到了一篇大佬写的文章：https://blog.csdn.net/Muscleheng/article/details/91492302 讲诉了怎样根据IP限制指定时间内访问接口的次数，看完之后，发现有点像是硬编码，不够灵活，个人觉得 使用 aop+自定义注解可能会更好一些。 源码地址：https://github.com/winterme/SpringBoot-aop-an...
Oracle SQL优化技巧：选择最佳查询顺序与减少访问次数
通过调整ARRAYSIZE参数（如设置为200），可以在每次访问数据库时检索更多的数据，从而减少访问次数。这在SQL*Plus、SQL*Forms和Pro*C中尤其适用。 5. **利用DECODE函数**： DECODE函数可以减少重复扫描和连接操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值