我用python的requests模拟登陆我学校的一个网站,用登陆返回的cookie来访问其中一些需要登陆才能访问的网页,有些网页可以访问,但是有些网页返回的却是登陆页面,为什么回这样?我用wireshark抓包看了一下,出现302重定向的问题,就是我访问一些网页回重定向到登陆页面,但有些网页又不会,这是为什么呢?python爬虫新手,希望各位大佬多多指教
代码如下:
#coding:utf-8
import urllib
import requests
login_url = "http://ctcp.scnu.edu.cn/scnu/login" #登陆页面
def ctcp_crawler (username, password, roleId, url) :
#需要post的数据
data = urllib.urlencode ({
"username" : "username",
"password" : "password",
"roleId" : "3"
})
headers = {'User-agent' : 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:36.0) Gecko/20100101 Firefox/36.0'} #头
s = requests.Session () #建立一个会话
response = s.post (login_url, data = data, headers = head