Python爬虫数据存储MySQL【2】模拟登录网页

# -*- coding:utf-8 -*-

import requests

loginUrl = '提交post信息的页面'
afterUrl = '真正爬取信息的页面'

header = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
values = {"name": "testname",
            "password": "testpass"}

# 跨请求保持cookie
s = requests.Session()
# 发送登录信息，返回响应信息（包含cookie）
login = s.post(loginUrl, values, header)
# 获得登陆后的响应信息，使用之前的cookie
response = s.get(afterUrl, cookies = login.cookies, headers = header)
print response.content

参考：
requests高级用法
Python爬虫之模拟登录总结