http://www.jb51.net/article/77043.htm
采集和防止采集是一个经久不息的话题,一方面都想搞别人的东西,另一方面不想自己的东西被别人搞走。
本文介绍如何利用nginx屏蔽ip来实现防止采集,当然也可以通过iptable来实现。
1.查找要屏蔽的ip
1
|
awk
'{print $1}'
nginx.access.log |
sort
|
uniq
-c|
sort
-n
|
nginx.access.log 为日志文件,
会到如下结果,前面是ip的访问次数,后面是ip,很明显我们需要把访问次数多的ip并且不是蜘蛛的ip屏蔽掉,本例当中我们屏蔽掉
1
2
3
4
5
6
7
|
165.91.122.67
...
13610 202.112.113.192
95772 180.169.22.135
337418 219.220.141.2
558378 165.91.122.67
|
2.在nginx的安装目录下面,新建屏蔽ip文件,命名为blockip.conf,以后新增加屏蔽ip只需编辑这个文件即可。 加入如下内容
1
|
deny 165.91.122.67;
|
3.在nginx的配置文件nginx.conf中加入如下配置,可以放到http, server, location, limit_except语句块,需要注意相对路径,本例当中nginx.conf,blocksip.conf在同一个目录中。
1
|
include blockip.conf;
|
4.重启一下nginx的服务:/usr/local/nginx/nginx -s reload 就可以生效了。
高级用法:
屏蔽ip的配置文件既可以屏蔽单个ip,也可以屏蔽ip段,或者只允许某个ip或者某个ip段访问。
如果你想实现这样的应用,除了几个IP外,其他全部拒绝,
那需要你在blockip.conf中这样写
1
2
3
|
allow 1.1.1.1;
allow 1.1.1.2;
deny all;
|
单独网站屏蔽IP的方法,把include blocksip.conf; 放到网址对应的在server{}语句块,
所有网站屏蔽IP的方法,把include blocksip.conf; 放到http {}语句块。
屏蔽访问过于频繁的IP脚本需要根据实际的nginx log 格式,修改,取出 访问IP 和User-Agent.
在nginx配置文件中添加一条配置
1
|
include ./vhost/blockip.conf;
|
脚本内容:
1
2
3
4
5
6
7
8
9
|
#!/bin/bash
nginx_home=
/usr/local/webserver/nginx
log_path=
/usr/local/webserver/nginx/logs
tail
-n50000
/usr/local/webserver/nginx/logs/access
.log \
|
awk
'{print $1,$12}'
\
|
grep
-i -
v
-E
"google|yahoo|baidu|msnbot|FeedSky|sogou"
\
|
awk
'{print $1}'
|
sort
|
uniq
-c|
sort
-rn \
|
awk
'{if($1>1000)print "deny "$2";"}'
>$nginx_home
/conf/vhost/blockip
.conf
/etc/init
.d
/nginx
reload
|