robots.txt写法大全和robots.txt语法的作用

1、如果允许所有搜索引擎访问网站的所有部分，可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可，robots.txt写法如下：

User-agent: *
Disallow:
或者
User-agent: *
Allow: /

2、如果我们禁止所有搜索引擎访问网站的所有部分，robots.txt写法如下：

User-agent: *
Disallow: /

3、如果需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站，robots.txt写法如下：

User-agent: Baiduspider
Disallow: /

4、如果禁止Google索引网站，跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot即可，robots.txt写法如下：

User-agent: Googlebot
Disallow: /

5、如果禁止除Google外的一切搜索引擎索引网站，robots.txt写法如下：

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

6、如果禁止除百度外的一切搜索引擎索引网站，robots.txt写法如下：

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

7、如果需要禁止蜘蛛