网站优化之robots文件详解

　　SEO不难，难的的坚持SEO下去，SEO在于细节的把握，今天就给大家讲一讲比较实用的SEO技巧之robots.txt文件。首先，在我们写robots之前，我们必须要知道，我们为什么要写它，这才是问题的核心，千万不要因为别人也写了你就也去效仿。robots，人称“君子协议”，是网站和搜索引擎之间的协议，搜索引擎在爬行到你网站时会第一时间爬行到这个文件，然后会根据你写的协议进行爬行和抓取。但是有时候，搜索引擎也会选择性的忽视这个文件。。你懂的。。。

　　robots文件写作步骤

　　在写文件之前，我们需要有以下的权限，可以上传文件到网站根目录，因为robots是放在网站根目录的。确认好我们有权限之后，先可以开始写了。首先创建一个TXT文件，命名为robots.txt。打开文件第一步要写的就是User-agent:，这代表的是你需要什么搜索引擎抓取你的网站，例如User-agent：*，代表的需要所有搜索引擎、User-agent：Baiduspider，代表的百度可以抓。那么怎么禁止所有搜索引擎抓取呢?这设计要后面的知识，这里先写出来，但不进行解释。User-agent：* Disallow:/。一般来说我们都是允许所有的抓取，如有特殊需要可以自己去斟酌。

　　在写好User-agent之后就是写具体的规则了，主要有两种：一种是allow和disallow也就是允许和不允许的意思。这个大家都能理解，我们的网站资源有限，有些东西没必要抓取的就是不用浪费带宽，例如JS和CSS文件，还有出于安全考虑，网站后台目录也是不允许被抓取的。disallow写法规则，禁止抓取某个目录 disallow：/目录/ 禁止抓取特定的文件 disallow：.php(.css .js) 禁止抓取图片 disallow：.jpg(图片格式)$。。。还有很多钟用法。在这里我们说明的是。并不是写的越多越好，要根据实际情况去写。

　　最后就还有一个小技巧了，那就是写入sitemap地址。我们都知道百度不会给小站开通sitemap权限，所以我们可以在这里写上。一般我们在根目录存放好sitemap，格式一般都是XML也有TXT的，写法如下：Sitemap：(网站名)sitemap.xml