话说robots.txt

  今天我们来说说robots.txt 的一些相关内容。了解一下什么是robots.txt，以及它的标签写法与设置，如何使用robots.txt 提交sitemap?

      1、robots.txt是什么？
      搜索引擎使用网络蜘蛛spider程序自动访问互联网上的网页并获取网页信息，而robots.txt是一个纯文本文件，用来告诉网络蜘蛛spider本站中哪些位置允许抓取，哪些位置不允许抓取。spider在访问一个网站时，会首先会检查该网站的根目录下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。
      通过设置robots.txt，可以阻止蜘蛛爬行站点内一些不希望被索引的页面，如网站后台、某些图片、某类文件或某个文件，甚至直接屏蔽掉某个搜索引擎，从而提高蜘蛛的工作效率，把大量精力都放到索引正常页面上去。

      2、怎么设置和放置robots.txt？
      建立robots.txt文件并放在网站根目录；如果域名指向到了次目录（如虚拟主机这种同一服务器下很多网站的），在次目录放置的robots.txt文件只对此域名有效。而且，文件名必须小写，如Robots.txt、roBots.txt、robots.TXT都是错误的。

      3、robots.txt应该怎么写？
      同时包含2个域，“User-agent：”和“Disallow：”，每条指令独立一行。
      (1)User-agent：指定允许哪些蜘蛛抓取，如果给出参数，则只有指定的蜘蛛能够抓取；如值为通配符“*”号，代表允许所有蜘蛛抓取。如：
       User-agent： Googlebot
       只允许Google的蜘蛛抓取；
       User-agent：*
      允许所有蜘蛛抓取。
      注意：User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。
      (2)Disallow：指定禁止蜘蛛抓取的目录或文件，如：
      Disallo： /search.asp
      禁止抓取根目录下search.asp文件；
      Disallow： /admin/
      表示禁止抓取根目录下的admin子目录中任何内容；
      Disallow：
     值为空时，表示不限制，蜘蛛可以抓取站内任何内容。
     如果需要指定多个目录或文件，可以用多个“Disallow：文件或目录名”来指定，但必须每一项单独一行。

      4、robots.txt 需要注意的几个问题？
      robots.txt 文件中任意一行Disallow的值为空，其他指定的项都将失效，整站允许User-agent指定的蜘蛛抓取；robots.txt文件中允许使用注 释，以“#”开头的内容被认作注释；但注释最好独立成一行，尽量不要加在参数后面，如“Disallow： /admin/ #manage dir”，某些蜘蛛可能将注释当作值的一部分。尽量不要在一行的前面出现空格，如“ Disallow:：/”，可能某些蜘蛛无法正确读取。
      推荐一个robots.txt检查工具：http://tool.motoricerca.info/robots-checker.phtml

      5、如何使用robots.txt 提交sitemap？

      seo站长们提交sitemap帮助蜘蛛爬取网站，成为了站长们必须做的一件事情，当然google和yahoo都有他们的管理网站的后台工具，那么对于没有这类工具的百度我们该怎么提交sitemap呢？这个问题其实一直困绕着我们很多站长，那么怎么才能实现这个功能呢？其实我们可以利用robots.txt来实现这个功能。在GG管理员工具里面GG给出了肯定答案，但是不提倡这样的方法，他们提倡使用管理员工具提交网站的sitemap，那么我们在写robots的时候应该怎么写才能完美的将蜘蛛引入，其实你在网上查看相关的技术性文章，他们给出的答案都是一样的。

      那么如何向百度提交sitemap呢？ 最好的办法就是在robots.txt中写入网站sitemap地址。比如我的网站sitemap地址为：http://www.lujingjin.com/sitemap.xml。

      那么在www.lujingjin.com/robots.txt中写入一段命令：Sitemap：http://www.lujingjin.com/sitemap.xml。 然后再向百度submit你的网站地址。这样网站被百度收录的速度将会有所提升。还有很多网站是不写robots.txt 的，学习一下它的命令吧。

      实际上对于google来说，提交sitemaps.xml可以使得网站的收录比较快而且全，但是百度没有sitemap的专门提交地址，因此大家往往忽视向百度提交sitemap的重要性。现在就可以学习一下了。

      文章转载请注明来自于绍兴seo陆晶锦博客，本文地址：http://www.lujingjin.com/jiaoliu/28.html ，欢迎加入seo交流群：142267729
本文来源于：陆晶锦seo博客 http://www.lujingjin.com/ , 原文地址：http://www.lujingjin.com/jiaoliu/28.html