背景:
获取需要登录的页面,可在登陆后将获取到的cookie添加到请求的脚本中。



方法:

import requests
url="http://webserver/admin"

cookies = dict(cookies_are='cookie内容')

##cookie内容可在登陆页面后,通过浏览器工具()获取。

response = requests.get(url, cookies=cookies)

print response.content.decode("utf-8")


这样就可以获取登陆后的网页源代码。


如果要模拟的更真实点,加上user agent会更好些。
my_headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2526.80 Safari/537.36 Core/1.45.933.400 QQBrowser/9.0.8699.400', 'Accept-Encoding' : 'gzip, deflate, sdch'}

response = requests.get(url, cookies=cookies,headers=my_headers)

print response.content.decode("utf-8")


只要不被专门盯上,一般应该会被服务器当做正常访问来对待的。