nginx中shell脚本封锁采集IP地址

本文介绍下，在nginx环境中，使用shell脚本封锁那些采集自己网站内容的IP地址，不错的想法，实现起来也简单，有需要的朋友参考下。

本文主要内容：
封采集网站IP的shell脚本

实现思路：
分析Nginx日志，比如分析最后50000条记录，如果同一个IP访问了1000以上，基本可以肯定这个是有人在采集，当然封之前要判断好，不要连搜索引擎蜘蛛的IP都封了，一定要谨慎。

方法：
第一步：
nginx.conf 最后加上
 

复制代码 代码示例:

include  vhost/blockip.conf; （vhost/blockip.conf的路径按照您的真实路径，自己设定）

第二步： 写分析nginx日志的shell脚本
vi /data/sh/blockip.sh

脚本内容：
 

复制代码 代码示例:

#!/bin/bash
tail -n50000 /data/logs/xxx.log \
| awk '{print $1,$12}' \
|grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou|360|bing|soso" \
|awk '{print $1}'|sort|uniq -c|sort -rn \
|awk '{if($1>1000)print "deny "$2";"}' > /data/blockip.conf
/root/nginx_reload

保存，退出，运行
#/data/sh/blockip.sh &

如此之后，即可让采集的IP无法访问，达到了封锁恶意采集者 IP地址的目的。