![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SEO
love__coder
新博客:http://info.51rtb.cn
新浪微博:http://weibo.com/lovecoder
展开
-
机器人robot元标签
<br />可以通过聪明的机器人元标签,来与机器人爬虫交互,告知它怎么爬你的网站,用法如下:<br /> <br /><meta name=”robots” content=”noindex, nofollow, noodp, noydir, nosnippet”><br /> 可以放到content中的关键字有以下几个:“noindex”– this will prevent search engines from indexing the page “nofollow” — this wil原创 2010-08-14 11:20:00 · 970 阅读 · 0 评论 -
屏蔽机器人爬虫爬网站
最近,在检测iis日志的时候,发下有爬虫爬我的网站。比较恼怒,怎么能爬呢,秘密啊。 马上在网站的根目录放个robots.txt文件,文件内容如下:User-agent: * Disallow: /呵呵,这些任何守法的爬虫都不爬了。原创 2010-08-14 14:31:00 · 1888 阅读 · 0 评论 -
搜索引擎讨厌的欺诈行为
1、隐身(cloaking) 当机器人来访问时,通过特殊方法展现给他的内容与人类访问者内容不符。2、内容重复 搜索引擎抓到复制内容的作弊方法,可能会降低排名3、关键字堆砌4、不可见文本原创 2010-08-14 11:07:00 · 896 阅读 · 0 评论