python爬虫使用POST登录时的注意事项

Requests提供了一个Session的概念，在连续访问网页时能自动处理Cookie的方式，程序会自动把Cookie的值带上，像浏览器一样，不用关注具体细节。

用法示例如下：

import reqests

longinUrl = 'http://www.xxxxx.com/login'

s = requests.Session()

# 首先访问登录界面，作为游客，服务器会先分配一个cookie

r = s.get(loginUrl, allow_redirects=True)

datas = {'name':'xxxx', 'passwd':'xxxx'}

# 向登录链接发送post请求，验证成功，游客权限转为会员权限

r = s.post(loginUrl, data=datas, allow_redirects= True)

print r .text

上面这段代码，就是正式做python开发中遇到的问题，如果没有第一步访问登录的页面，而是直接向登录链接发送Post请求，系统会把你当做非法用户，因为访问登录界面时会分配一个Cookie，需要将这个Cookie在发送post请求时带上。