nginx下禁止访问robots.txt的设置方法

关于robots.txt文件：搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信 息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot 访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

访问，可以得知我们网站中存在/admin和/bbs，其中/admin是关于后台管理的目录，把这个路径轻易的暴漏显然是不太安全的，下面我们可以通过禁止访问.txt类型的文件来，增加网站的安全性

修改nginx.conf文件，vim /usr/local/nginx/conf/nginx.conf

1 2 3 4

location ~* \.(txt|doc)$ {                root   /usr/local/nginx/html;                deny all;        }

指定403.html文件的配置信息

1 2 3 4

location ~* \.(txt|doc)$ {                root   /usr/local/nginx/html;                deny all;        }

重新加载配置文件

1	/usr/local/nginx/sbin/nginx -s reload

再次访问，发现提示无法访问该文件了。

本文转自 a928154159 51CTO博客，原文链接:http://blog.51cto.com/zhibeiwang/1857416