Python抓取小说

Python抓取小说

前言

此脚本为了在MAC上抓取小说而写，用Python几句代码就可以了。

www.dwjajf.com

代码

[python]  view plain copy

1. # coding=utf-8  
2.   
3. import re  
4. import urllib2  
5. import chardet  
6. import sys  
7. from bs4 import BeautifulSoup  
8. import codecs  
9.   
10. class Spider():  
11.   
12.     def __init__(self):  
13.         self.aTag=re.compile("<a href=\"(http://www.44pq.com/read/[0-9]+?_[0-9]+?.html)\"[^>]*?>(.+?)</a>")  
14.         self.contentTag=re.compile("<div class=\"readerContent\" id=\"content\">(.+?)</div>",re.I|re.S)  
15.   
16.     def getHtml(self, url):  
17.         headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}  
18.         req=urllib2.Request(url,headers=headers)  
19.         response = urllib2.urlopen(req)  
20.           
21.         html = response.read()  
22.         return html  
23.         #soup=BeautifulSoup(html.decode("GB18030","ignore"))  
24.         #return soup.findAll("a")  
25.         #return soup.prettify()  
26.         #typeEncode = sys.getfilesystemencoding()  
27.         #infoencode = chardet.detect(html).get('encoding','utf-8')  
28.         #return html.decode('GB18030','ignore').encode("utf-8")  
29.         return html.decode('GB18030','ignore').encode(sys.getfilesystemencoding())  
30.       
31.     def Run(self):  
32.         bookurl="http://www.44pq.com/read/13567.html"  
33.         bookname="地球上唯一的魔法师"  
34.         text=[]  
35.         matchs=self.aTag.finditer(self.getHtml(bookurl))  
36.         alist=list(matchs)  
37.         total = len(alist)  
38.         print "total {0}".format(total)  
39.         i=0  
40.         for m in alist:  
41.             i+=1