蜘蛛3分钟找到了love

我想知道：一台PC上运行的蜘蛛，从sina.com作为起始url, 最快花多少时间搜索到love这个词？
下面是python写的简单的宽度搜索的蜘蛛

1. # -*- coding: UTF-8 -*-
2. ''''' given a key and start_url, the spider is suppose to find the key in html as fast as possible. 
3.  of course this program is not fast, just a bottom line test. 
4. '''
6. import Queue
7. import spider_lib as slib
8. import re
9. 
   
11. if __name__ == "__main__":
12.     start_url = "http://www.sina.com"
13.     key = r'/blove/b'
14.     urls = Queue.Queue()
16.     url_hash = {} 
17.     urls.put( start_url )
18.     cnt = 0
20.     while 1:
21.         url = urls.get()
22.         if not url_hash.has_key( url ):
23.             try:
24.                 print 'process ' + url 
25.                 lines = slib.fetch_page_as_lines( url ) 
26.             except Exception, e:
27.                 print e
29.             match_line = slib.extract_lines( lines, key )
30.             if match_line != []:
31.                 print 'got %s in %s at %s' % ( key, match_line[0][0], url )
32.                 break
34.             url_hash[ url ] = 1
36.             domain_name = url.split("/", 3 )[2] 
37.             for line in lines:
38.                 for new_url in re.findall( r'<a[^>]*href="([^"]*)"', line ):
39.                     if new_url.lower().startswith( 'http' ):
40.                         urls.put( new_url ) 
41.                     elif not re.match( '[^/]+://', new_url ):
42.                         urls.put( "http://" + domain_name + '/' + new_url )
43.                         
44.         

然后在shell下运行 >> time python ./search.py
结果是接近6分钟:　
    real    2m57.054s
    user    0m0.332s
     sys    0m0.048s

从程序角度看确实相当慢，不过仅仅作为一种‘底线’程序，存在许多优化方案:
多线程
用C改写
应聘到sina然后在他们服务器上面运行
。。。

你想试试吗?