根据w3c所定义,"meta标签允许html作者告诉来访的机器人文件是否可能索引,或来获取更多的链接。没有服务器管理员需要采取行动。"
主要的搜索引擎普遍指令:

meta与robots.txt的区别:
robots.txt是域级别的操作,其规则针对整个网站;
meta是网页级别的指令,他只在某一个页面上有效;
本文介绍了W3C定义下的meta标签用途,即用于告知爬虫文件索引情况及获取更多信息。同时对比了meta标签与robots.txt的不同之处:前者作用于单个网页,后者则应用于整个网站。
根据w3c所定义,"meta标签允许html作者告诉来访的机器人文件是否可能索引,或来获取更多的链接。没有服务器管理员需要采取行动。"
主要的搜索引擎普遍指令:

meta与robots.txt的区别:
robots.txt是域级别的操作,其规则针对整个网站;
meta是网页级别的指令,他只在某一个页面上有效;

被折叠的 条评论
为什么被折叠?