![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SEO
iteye_3506
这个作者很懒,什么都没留下…
展开
-
robots.txt设置
在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作。robots.txt基本介绍robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该...2009-12-02 09:56:11 · 122 阅读 · 0 评论 -
Robots.txt
# Robots.txt file from [url=http://www.heremore.cn]http://www.heremore.cn[/url]# All robots will spider the domainUser-agent: *Disallow:2009-12-02 10:00:31 · 119 阅读 · 0 评论