网站获得搜索引擎抓取是很多企业期待的，当然，某些特殊的情况是我们不愿意让网站抓取全部或部分内容。如果我们不想要搜索引擎索引网站的某些内容或全部内容，最好的办法就是借助rebots.txt文件。
robots.txt文件是搜索引擎抓取协议，这个协议是目前大部分搜索引擎都需要遵守的，相当于搜索引擎的抓取引导。大部分搜索引擎都会按照这个文件的要求进行抓取网站内容，所以编写这个内容，就相当于给搜索引擎编写了一套引导大纲。不过要明确一点，robots.txt文件是一份协议，也就是搜索引擎可以遵守，也可以不遵守。
禁止所有的搜索引擎访问网站全部内容
User-agent: * Disallow:/
禁止百度搜索引擎访问网站全部内容
User-agent: Baiduspider Disallow:/
允许所有搜索引擎访问全部内容；也可以为空
User-agent: * Allow:/
允许/禁止百度搜索引擎抓指定格式的图片
User-agent: Baiduspider Allow: /*.gif$ Disallow: /*.jpg$
允许/禁止百度搜索引擎抓取网站的动态页面
User-agent: Baiduspider Allow: /*.php$ Disallow: /*.jsp$
7513
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
