nginx下禁止垃圾蜘蛛爬行网站,只保留百度蜘蛛和搜狗360神马等。访客浏览器打开则出现404错误页,进行跳转。站群引流比较方便,也能规避一些小白参考自己的站群内容。 以宝塔面板为例 if ($http_user_agent !~* "Baidu|Yisou|Sogou|360") { return 404; } 复制以上代码保存到相应位置即可。 实际测试,以360 sogou等简写字符代替360Spider蜘蛛全称,完全可行。本人亲测百度资源管理后台,百度抓取诊断,可以正常获取网页内容。