在网站的优化过程中我们希望搜索引擎收录,例如网站后台目录,一些没有价值的页面等,这时我们要用到的就是Robots.txt这个文件,来与小蜘蛛交流。
这里要说明的是Robots.txt文件只能起到阻止搜索引擎索引。
Robots.txt写法
1.如果你站点中的所有文件,都可以让蜘蛛爬取、收录的话,那么语法这样写:
User-agent: *
Disallow:
当然,如果你网站中全部的文件都可以让搜索引擎索引的话,你也可以不管这个文件。
2.完全禁止搜索引擎来访的Robots.txt文件写法:
User-agent: *
Disallow: /
2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法:
User-agent: Googlebot
Disallow: /
3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:
User-agent: *
Disallow: /admin/
Disallow: /images/
4.禁止Google抓取网站中的图片文件:
User-agent: Googlebot
Disallow: /*.gif$
Robots.txt文件,是网站与搜索引擎沟通的一种重要方式。
屏蔽robots
收录
robots