requests抓取需登录（cookie）的页面

之前用requests 比如网址缩短，再比如自动识别网站友情链接，并自动识别网站RSS地址，还有微信公共平台api Python（bottle）版 都是抓取不需要登录的页面内容。

两周前使用requests做了一个简单的phpwind论坛自动登录然后打卡的小脚本，不得不说用requests做这些事比用urllib2之类要方便的多。

简简单单两行代码搞定：

_data = {'lgt':1,'pwuser':usr, 'pwpwd':pwd, 'question':0, 'customquest':'', 'answer':'', 'hideid':0,'forward':'', 'jumpurl':'http://xxx.com/u.php', 'm':'bbs', 'step':2, 'cktime':cktime}
r = requests.post(_url, data=_data)
_cookies = r.cookies

获取到_cookies后再访问u.php页面获取一个verify字符串（这时候就需要代入cookies参数了）：

r = requests.get('http://xxx.com/u.php', cookies=_cookies)
_content = r.content
verify = re.compile(r'var verifyhash = \'(.*?)\';',re.I).findall(_content)[0]

然后继续代入_cookies并访问打卡url（需要第二部抓取到的verify）:

requests.get('http://bang.dahe.cn/jobcenter.php?action=punch&step=2&verify=%s'%verify, cookies=_cookies)

BTW：pyquery挺好用的，只是不知道和libxml2dom相比效率如何。