python超级简单爬虫

初学者还是用bs4+urllib比较好的简单爬虫

[python]  view plain  copy

1. #coding=utf-8  
2. import sys  
3. import time  
4. import urllib  
5. import urllib2  
6. import requests  
7. import numpy as np  
8. from bs4 import BeautifulSoup  
9. reload(sys)  
10. sys.setdefaultencoding('utf8')  
11. out=open("foodlist","w+")  
12. def pachong(tag):  
13.     count=1  
14.   
15.     while 1:  
16.         url="http://home.meishichina.com/search/"+urllib.quote(tag)+"/"  
17.         tail="page/"+str(count)+"/"  
18.         if count!=1:url+=tail  
19.         time.sleep(np.random.rand()*2)  
20.   
21.         try:  
22.             print url  
23.             req=urllib2.Request(url)  
24.             source_code=urllib2.urlopen(req).read()  
25.             plain_txt=str(source_code)  
26.         except (urllib2.HTTPError,urllib2.URLError),e:  
27.             print e  
28.             continue  
29.   
30.         soup=BeautifulSoup(plain_txt)  
31.         list_soup=soup.find_all('div',{'class':'detail'})  
32.         if len(list_soup)==0:break  
33.         for i in range(len(list_soup)):  
34.             res=list_soup[i].find('h4')  
35.             title=res.text  
36.             res=list_soup[i].find('p',{'class':'subcontent'})  
37.             descrip=res.text  
38.             res=list_soup[i].find('div',{'class':'left'})  
39.             if res.text=="":myfrom="无"  
40.             else:myfrom=res.text.strip()  
41.             out.write(str(title)+'\t'+str(descrip)+'\t'+myfrom+'\n')  
42.         count+=1  
43.   
44. pachong("火锅")