python爬取的代码_用Python编写网页爬虫爬取oj上的代码

用Python编写网页爬虫爬取oj上的代码

2018-03-12 14:02:10

1424浏览

今天我们给大家讲解一下关于Python爬取网页的源代码，直接是干货，在代码中有不足之处，或者专业的Python高级开发程序员大神有更便捷的方式，我们可以共享。

#-*-coding:cp936-*-

importurllib2

importurllib

importre

importthread

importtime

importcookielib

cookie_support=urllib2.HTTPCookieProcessor(cookielib.CookieJar())

opener=urllib2.build_opener(cookie_support,urllib2.HTTPHandler)

urllib2.install_opener(opener)

#以下是正則表達式部分,意在过滤爬取页面的标签信息

classTool:

A=re.compile(";")#A-J对标签进行匹配

B=re.compile("
")

C=re.compile("

D=re.compile(">;")

E=re.compile("";")

F=re.compile("&")

G=re.compile("TimesNewRoman">")

H=re.compile("")

I=re.compile("'")

J=re.compile(r'语言.*?face=')

defreplace_char(self,x):#将标签内容替换成目标内容

x=self.A.sub("",x)

x=self.B.sub("",x)

x=self.C.sub("

x=self.D.sub(">",x)

x=self.E.sub(""",x)

x=self.F.sub("&",x)

x=self.G.sub("",x)

x=self.H.sub("",x)

x=self.I.sub("'",x)

x=self.J.sub("",x)

returnx

classHTML_Model:

def__init__(self,u,p):

self.userName=u#username与password等登入信息

self.passWord=p

self.mytool=Tool()

self.page=1#从代码页的第一页開始爬

self.postdata=urllib.urlencode({

'userName':self.userName