![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SEO
文章平均质量分 77
wangxinya254
这个作者很懒,什么都没留下…
展开
-
robots.txt文件基础知识
robots.txt robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。 语法:最简单的 robots.txt 文件使用两条规则: · User-Agent: 适用下列规则的漫游器 · Disallow: 要拦截的网页 如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结转载 2012-06-12 15:14:19 · 372 阅读 · 0 评论 -
robots.txt使用方法
第一,用robots屏蔽网站重复页很多网站一个内容提供多种浏览版本,虽然很方便用户却对蜘蛛造成了困难,因为它分不清那个是主,那个是次,一旦让它认为你在恶意重复,兄弟你就惨了User-agent: *Disallow: /sitemap/ 《禁止蜘蛛抓取 文本网页》第二,用robots保护网站安全很多人纳闷了,robots怎么还和网站安全有关系了?其实关系还很大,不少低级黑客就是转载 2012-06-12 14:17:55 · 460 阅读 · 0 评论