使用kibana制作每段时间内IP请求直方图

2019独角兽企业重金招聘Python工程师标准>>>

使用以下方法制作直方图,可以发现可疑的爬虫

1) 观察nginx活跃的链接用户,如果持续时间较长,可能为爬虫或者外挂.

2) 观察nginx具体某个uri请求,在一段时间内ip的分布情况.比如登陆,或者搜索,或者查看商品详情

3) 持续观察nginx日志请求总数,发现可疑ip,可能为爬虫,

使用kibana挖掘出可疑爬虫.

针对柱状图里面的ip进行行为分析,发现占比最高的6个IP是抓取数据的,

可以封ip,或者使用waf策略限制请求次数,避免对服务器性能有影响.

转载于:https://my.oschina.net/u/1538135/blog/686424