网站获得搜索引擎抓取是很多企业期待的,当然,某些特殊的情况是我们不愿意让网站抓取全部或部分内容。如果我们不想要搜索引擎索引网站的某些内容或全部内容,最好的办法就是借助rebots.txt文件。
robots.txt文件是搜索引擎抓取协议,这个协议是目前大部分搜索引擎都需要遵守的,相当于搜索引擎的抓取引导。大部分搜索引擎都会按照这个文件的要求进行抓取网站内容,所以编写这个内容,就相当于给搜索引擎编写了一套引导大纲。不过要明确一点,robots.txt文件是一份协议,也就是搜索引擎可以遵守,也可以不遵守。
禁止所有的搜索引擎访问网站全部内容
User-agent: * Disallow:/
禁止百度搜索引擎访问网站全部内容
User-agent: Baiduspider Disallow:/
允许所有搜索引擎访问全部内容;也可以为空
User-agent: * Allow:/
允许/禁止百度搜索引擎抓指定格式的图片
User-agent: Baiduspider Allow: /*.gif$ Disallow: /*.jpg$
允许/禁止百度搜索引擎抓取网站的动态页面
User-agent: Baiduspider Allow: /*.php$ Disallow: /*.jsp$