Python3.5.2模拟网站登陆

Python3.5.2模拟网站登陆

最近在學習 Python 的過程中, 有一個作業是使用 Python 實現模擬網站登陸, 因為以前沒有弄過, 花費了幾天的時間, 特地記下關鍵知識點, 備以后所需

工具

1) Fiddler 4.6

2) Firefox 瀏覽器

3) Python 3.5.2

4) Windows 7 (在 Linux 下也基本一樣)

步驟

1) 執行 Fiddler 獲取瀏覽器數據(按 F12 開啟 Capturing)

網上很多人使用  Firefox 自帶 Firebug 組件, 但我使用的版本抓不到 POST 的信息

如果你對 Wireshark 使用很熟悉, 也可以用 Wireshark, 能抓到的更完整的信息,但要求掌握網絡底層知識

2)使用 Firefox 瀏覽器打開要登陸的網站, 進行實際登陸, 使 Fiddle 能抓取到整個登陸的過程.

使用前最好清除瀏覽器的歷史記錄, 以便 Fiddle 能抓到最少又有用的信息

(1)  Request Headers

操作類型: GET 還是 POST, URL, Client 信息, Cookies, Referer, Connection, Host 等信息

(2) WebForms

3) 使用 Python 模擬登陸

GET 請求

使用 urllib.request

#注意: url 最后要以 / 結尾, 否則報錯
url = "http://www.abc.com/"              
req = urllib.request.Request(url)

使用 http.client

conn = http.client.HTTPConnection("www.cjol.com", 80)

conn.request('GET', url, data, headers)

使用之前對 data, headers 賦值

data = urllib.parse.urlencode({
'jsoncallback':'jQuery17202103447694222xxxx_147761832xxxx',
'userName':'xxxxx',
'password':'xxxxx',
'actionType':'xxxxx',
'_':'xxxxx'
})

header = {
"Accept":"text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01",
"Accept-Encoding":"gzip, deflate",
"Accept-Language":"zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; rv:12.0) Gecko/20100101 Firefox/12.0",
"X-Requested-With":"XMLHttpRequest",
"Cookie":"Hm_lpvt_36534f4826de8bde820fa4722f1fa7e8=1477618344; Hm_lvt_36534f4826de8bde820fa4722f1fa7e8=1477558656,1477618344; isFirstLoad=1",
"Referer":"http://www.cjol.com/",
"Connection":"keep-alive",
"host":"www.cjol.com"
}

POST 請求

使用 urllib.request

url = "http://www.abc.com/"
data = urllib.parse.urlencode({
"key1":"value1",
"key2":"value2"
}).encode('utf-8')
header = {
"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding":"gzip, deflate",
"Accept-Language":"zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; rv:12.0) Gecko/20100101 Firefox/12.0"
}
req = urllib.request.Request(url, data, header)

從代碼可以看出來, 相對于 GET 操作, urllib.request.Request 增加了data 和 header 參數,

實際上, 只要增加了 data 參數, 系統就會當成 POST 操作

如果需要執行帶提交 header 的 GET操作建議使用以下方式,

url = "http://www.abc.com/"
req = urllib.request.Request(url)
req.add_header("Accept", "*/*")
req.add_header("Accept-Encoding", "gzip, deflate")
urllib.request.urlopen(req)

如果需要執行 帶提交 data 和 header 的 GET 操作, 建議使用 http.client

使用 http.client

conn = http.client.HTTPConnection(url1, 80)

conn.request('POST', '/', data, header)

讀取返回頁面

使用 urllib.request

response = urllib.reqest.urlopen(req) 

使用 http.client

response = conn.getresponse()

讀取返回 header

get_header = response.getheader('Set-Cookie')

將頁面保存到文件

get_page = response.read()
fp = open('d:\\get_page.txt', 'wb')
fp.write(get_page)
fp.close()

使用以上方法進行驗證, 常用的幾個內外部網站都可以實現登陸, 再訪問登陸后的功能, 

比如刷新簡歷和讀取任務清單 等等.

開發者如果在登陸通訊的過程中增加驗證碼, 或者寫一些驗證函數, 就可以增加模擬登錄的困難.

重點記錄

一) ASP.NET 2.0 安全驗證機制, 暫時發現以下兩點

1) 第一次打開網站會在返回 Header 里包含  sessionid, 后面的操作要求把 sessionid 放在 header 里一起提交

2) 第一次打開網站會在返回頁面里包含 __VIEWSTATE 和 __EVENTVALIDATION, 

下一次操作要把這兩個參數作為 Webform data 提交

需要用到讀取網頁, 從頁面中提取 __VIEWSTATE 和 __EVENTVALIDATION 的值

二) Connection: keep-alive

這個 Headers 項, 并不是包含在 Headers 里提交就一定能夠實現 keep-alive 的

比如 urllib.request 就不能實現 keep-alive, 但 http.client 可以. 

使用 http.client 時發現 Fiddler 抓取不到數據, (網上有些文章提到模擬 Fiddler 代理 http.client 后就可以抓到包了,有時間可以試一下) 

其實沒有太多影響, 因為可以通過 response.read() 讀取返回頁面 和 getheader() 讀取返回 headers,

如果 keep-alive 失敗, 則在返回的 header 中包含 Connection: close,

如果 keep-alive 成功, 則在返回的 header 中不會包含 Connection 項, 

因此, 根據讀取返回 Header 的 Connection 值,如果為 None 則表示 keep-alive 成功.