robots.txt文件的Disallow和Allow行的区别

2019独角兽企业重金招聘Python工程师标准>>>

robots .txt文件Disallow和Allow设置顺序的不同会产生不一样的效果。

拿个robots .txt语法的例子 ：

（1）搜索引擎可以访问/www/seo的文件夹或者URL
User-agent: *
Allow : /www/seo
Disallow : /www/

（2）顺序改变后
User-agent: *
Disallow : /www/
Allow : /www/seo
这样遵守robots规则的搜索引擎就访问不到/www/seo这个路径了。

robots .txt几个语法 命令 解释 ：

1> User-agent: *【定义搜索引擎。一般情况下，网站里面都是：User-agent: *，这里*的意思是所有，表示定义所有的搜索引擎。比如，我想定义百度，那么就是User-agent: Baiduspider;定义google，User-agent: Googlebot】

2> Disallow 【禁止爬取】

3> Allow 【允许】

4> $ 结束符【Disallow: .aspx$ 这句话就是屏蔽所有的以.aspx结尾的文件，不管它前面是什么样子】

5> * 【0或多个任意字符。Disallow: *?* 这个是屏蔽所有带“?”的文件，可以这样屏蔽所有的动态路径】

总结来说就是robots.txt 这个文件里语法的顺序是从上到下匹配 ，先允许后禁止。另外注意：User-agent，Allow，Disallow的“:”后面有一个字符的空格。

总结+复习..

转载于:https://my.oschina.net/yonghan/blog/468312