昨天开通了自己的小站,打算把爬虫全部禁了,找了一下爬虫设置的规则,参考这里。
顺便查看了一下国内几个比较著名的大站的爬虫设置规则,发现英雄所见还挺略不同的。
1.淘宝和百度
这个曾经闹得很火,相信新闻大家都看了。看下面淘宝的规则:
- <!-- http://www.taobao.com/robots.txt -->
- User-agent: Baiduspider
- Disallow: /
- User-agent: baiduspider
- Disallow: /
2.新浪和google
新浪根目录下没有robots.txt,对于新闻是随便别人抓取的。
但是新浪比较火的两个产品,围脖和博客,都禁止了google,不知何故。
搜狐和qq的围脖一视同仁的把所有爬虫都禁止了。
这样看来新浪其实是对Baiduspider网开一面的。
- <!-- http://t.sina.com.cn/robots.txt -->
- User-agent: Baiduspider
- Disallow:
- User-agent: *
- Disallow: /
- <!-- http://blog.sina.com.cn/robots.txt -->
- #开放百度的搜索引擎的User-Agent代码
- User-agent: Baiduspider
- #限制不能搜索的目录,Disallow: 为空时开放所有目录####
- Disallow: /admin/
- Disallow: /include/
- Disallow: /html/
- Disallow: /queue/
- Disallow: /config/
- #开放bing.com的搜索引擎的User-Agent代码
- User-agent: msnbot
- #限制不能搜索的目录,Disallow: 为空时开放所有目录####
- Disallow: /admin/
- Disallow: /include/
- Disallow: /html/
- Disallow: /queue/
- Disallow: /config/
- User-agent: bing
- #限制不能搜索的目录,Disallow: 为空时开放所有目录####
- Disallow: /admin/
- Disallow: /include/
- Disallow: /html/
- Disallow: /queue/
- Disallow: /config/
- #限制的搜索引擎的User-Agent代码,*表示所有###########
- User-agent: *
- #临时限制对所有目录的禁止抓取
- Disallow: /
3.视频类网站
优酷,酷六,土豆都对所有爬虫开放,别的没有考察,应该大体如此。
4.社区
豆瓣限制了雅虎和soso的访问频率,不知何故
- <!-- http://www.douban.com/robots.txt -->
- #...
- User-agent: Slurp
- User-agent: Sosospider
- Crawl-delay: 5
- Request-rate: 12/1m 0100 - 1659
- Request-rate: 40/1m 1700 - 0059
猫扑的robots非常之无厘头
- <!-- http://www.mop.com/robots.txt -->
- User-Agent: *
- disallow: /test.html
- disallow: /jump.html
我想test.html是何方神圣,带着满满的好奇,打开一看,原来。。。。如此。
天涯,百度贴吧之类的中规中矩,不用赘述。
5.其它
纽约时报和华尔街日报这种网站,内容比较有价值,爬虫设置有非常明显的商业合作关系在里面。
PS:实践证明,机会是留给寂寞的人的,到处看robots是有好处的,请看每日邮报的robots.txt
http://www.dailymail.co.uk/robots.txt
神不知鬼不觉的把招聘信息隐藏在robots的文本中,可谓低调的华丽手笔啊。
呵呵,这则信息我是从这里http://www.cnbeta.com/articles/120449.htm贩卖来的。
转载于:https://blog.51cto.com/pearkiller/383131