python 实现华安信达论坛自动登录

近期需要从论坛采集一些数据，就使用爬虫专属语言python写了一个小爬虫，实现自动登录，并到指定的板块采集帖子标题、作者等信息。

实现自动登录的关键在于模拟浏览器向服务器发送数据包，用Fiddler抓包看一下，过程非常清晰：

1. 论坛的登录页面链接 http://bbs.cisps.org/ucp.php?mode=login

2. 研究Fiddler捕捉到的数据包，可以看到浏览器以Post方法向服务器发送了包含用户名和口令等字段，如图1所示，

图1 

除username和password之外，还有一项sid，经过多次抓包分析，sid字段的值是cookie中的一项，如图2所示，

图2

cookie中phpbb2mysql的值与之前我们分析的sid值一致，到此，我们就能够完整构造数据包模拟浏览器登录

     3. 完整代码：

		username = 'xxxxxxxx'		# 用户名
		password = xxxxxxxx		# 口令
		url_0 = 'http://bbs.cisps.org/'		# 首先请求主页
		req_0 = urllib2.Request(url_0 ,headers = self.headers)
		self.opener.open(req_0).read()
		phpbb2mysql_sid = ''				
		for cookie in self.cookieHandler:
			if cookie.name=="phpbb2mysql_sid":
				phpbb2mysql_sid = cookie.value		#　关键：将Cookie中的phpbb2mysql_sid值赋给变量
		postdata = {
					'username':	 username,
					'password':	 password,
					'autologin': 'on',
					'sid':       phpbb2mysql_sid,
					'redirect':	 'index.php',
					'login':	 '登录',
					'redirect':	 './ucp.php?mode=login'}		
		postencodedata = urllib.urlencode(postdata)		# 数据包编码
		url_1 = 'http://bbs.cisps.org/ucp.php?mode=login'
		req_1 = urllib2.Request(url_1,postencodedata,headers=self.headers)		# 请求
		data_1  = self.opener.open(req_1).read()