robots
丹婶
这个作者很懒,什么都没留下…
展开
-
robots.txt相关知识点
一:什么是robots.txt ? robots.txt是网站和搜索引擎的协议的纯文本文件。 当一个搜索引擎蜘蛛来访问站点时,它首先爬行来检查该站点根目录下是否存在robots.txt。如果存在,根据文件内容来确定访问范围,如果没有,蜘蛛就沿着链接抓取。robots.txt放在项目根目录下。(ps: 文件名必须全部小写) 二:基本语法 ? Use...原创 2019-04-24 17:09:51 · 229 阅读 · 0 评论 -
robots meta标签
robots meta 标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎robots如何抓取该页的内容。 写法: robots meta标签中没有大小写之分,name=”robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”Baid...原创 2019-04-24 17:30:08 · 1198 阅读 · 1 评论