![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
html
jep1983
这个作者很懒,什么都没留下…
展开
-
Robots.txt 协议标准介绍
Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。 下面我们就来详细介绍一下它的使用方法: Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。 例如: 如果您的网站地址是 http://www.yourdomain....原创 2011-05-03 10:35:09 · 238 阅读 · 0 评论 -
MIME Type
一、首先,我们要了解浏览器是如何处理内容的。在浏览器中显示的内容有 HTML、有 XML、有 GIF、还有 Flash ……那么,浏览器是如何区分它们,决定什么内容用什么形式来显示呢?答案是 MIME Type,也就是该资源的媒体类型。 媒体类型通常是通过 HTTP 协议,由 Web 服务器告知浏览器的,更准确地说,是通过 Content-Type 来表示的,例如: Content-Type:...原创 2011-04-02 22:02:41 · 92 阅读 · 0 评论