python discuz_Python爬虫自动下载Discuz论坛附件。

121,278

因工作需要，要定期收集卡饭论坛的病毒样本板块的病毒样本，所以就考虑用 Python做个爬虫，然后自动下载附件。

核心功能有3个：

1· 登录

2· 伪造cookie保持session

3. 下载样本

首先，登录就是先抓取登录页面，找到登录表单会post的数据，当然你也可以用firefox的httpfox插件。

需要注意的是，discuz的登录表单里有个hashform字段，是会随时间变的，所以要登录，必须分两个步骤：

1· 先抓取登录页面，找到hashform值

2· 生成post数据，然后登录 登录成功后，服务器端会返回给我们两个cookie字段，我本来是想先解析这些cookie，然后再生成自己的cookie，作为每次post的数据之一。后来发现cookielib可以安装opener，所以你只要用urllib2.urlopen(req)来取代urllib.urlopen(uri)，返回的cookie每次就会被保存，并且自动包在每次发送的请求里。

接下来就是解析网页，获得附件的下载地址了。解析网页无非就是正则。没有什么新的技术含量，就不多说了。

下面上代码，给需要类似功能的朋友做参考。代码写的乱，就不要见怪了。 帖子列表，我是从板块的RSS中获得的。

import urllib,urllib2,cookielib,re,datetime

def getPageHtml(uri):

req = urllib2.Request(uri)

return urllib2.urlopen(req).read()

#return urlli