1、编辑配置文件

vim /usr/local/nginx/conf/vhosts/test.conf 

2、添加以下字段

if ($http_user_agent ~* 'curl|baidu|111111') # ~*表示不区分大小写匹配，如果只是~表示区分大小写

         {

          return 403;

          }

3、重新加载

 /usr/local/nginx/sbin/nginx -s reload

4、使用curl模拟user_agent访问(可以先注释掉之前的访问控制配置)

curl -A "adadfasdfbaiDU.com" -x10.10.13.247:80 www.test.com/forum.php -I#-A参数表示指定user_agent，可以限制不常用的搜索引擎或蜘蛛爬虫访问网站

返回结果

HTTP/1.1 403 Forbidden

Server: nginx/1.6.3

Date: Tue, 31 May 2016 01:31:22 GMT

Content-Type: text/html

Content-Length: 168

Connection: keep-alive

说明已经成功禁止模拟的user_agent adadfasdfbaiDU.com


各种浏览器user_agent：https://my.oschina.net/sub/blog/203139