Robots协议的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),它的功能是通过Robots文件告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,抓取的标准等。它以一个文本文件的形式放在网站的根目录中,用任何一个常见的文本编辑器都可以对其进行修改和编辑。对于站长来说,合理的书写robots.txt文件可以更合理的利用搜索引擎,屏蔽掉一些低质量的页面,提高网站质量和对搜索引擎的友好度。
具体写法如下:
(*为通配符)
Sitemap: 网站地图 告诉爬虫这个页面是网站地图
比如:
例1.禁止所有搜索引擎访问所有页面:
比如淘宝网就是这样写的,显然它不愿意搜索引擎收录太多的内页。
如果是允许所有搜索引擎访问,则把Disallow改为allow,或者直接在根目录放置一个空的robots.txt文件
例2.允许百度蜘蛛访问所有页面
allow:/
例3.禁止所有搜索引擎访问某些特定目录下的网站:
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
例4.为网站添加google site-map,比如这里添加本站的sitemap,在文件后面加上
Sitemap:http://www.xgezhang.com/sitemap.xml
写完后可以用google robots.txt检测器检测下语法是否正确,或者用一些站长工具分析一下。
如果不想自己写,网上也有robots自动生成器,也还是不错。
转载地址:http://www.xgezhang.com/serach_engine_robots.html