最近闲的无聊,就想着去看看爬虫,顺着爬虫顺利的做到了模拟登录、刷帖子等等,这里简要说一下。
使用Python2.7写的爬虫,对某论坛做模拟登陆和刷帖子、回复等等,由于之前是没有接触过爬虫,这次之后感觉爬虫很强大,能做很多事,先来贴几张图。
由于论坛不让使用相同的文字,所以调用了笑话的api,达到不同文字的目的。
该论坛使用的是cookie,所以先去获取一下cookie,顺便将cookie写到文件里面。
'''
获取cookie
'''
def get_cookie(login_data, url, testurl=None):
filename = "cookie"
cookie = cookielib.MozillaCookieJar(filename)
hadler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(hadler)
post_data = urllib.urlenc