python 模拟用户点击浏览器_Python实现模拟浏览器登录操作

最近帮朋友写一个脚本，用来刷新信息。具体的操作就是模拟用户登录之后，在用户的信息发布页面，对每一个页面，在固定的时间间隔内点击刷新按钮。我使用Python3 和 Requests库来实现了这个功能。Requests 是用基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。我们使用他的原因是他能更加方便的保存Session信息。

流程：

1. 解析页面表单构成，获取请求的头信息

2. 模拟浏览器登录

3. 保存Session，进入用户中心。

4. 解析页面，获取需要更新的页面。

5. 对每个页面的刷新按钮发起请求。

6. 休眠计时。

解析登录页面：

首先打开登录页面，通过chrome来审查表单结构与Request Headers的信息。根据信息来构建登陆时的提交头文件与登录信息。

模拟浏览器发起请求的头信息：

headers1 = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',

'Content-Type': 'application/x-www-form-urlencoded',

'Origin': 'https://www.shicheng.one',

'Referer': 'https://www.shicheng.one/user/login',

'Upgrade-Insecure-Requests': '1'

}

用户登录表单，其中csrf是用户每次发起请求时动态生成的：

payload = {

"LoginForm[username]": "username",

"LoginForm[password]": "password",

"LoginForm[rememberMe]": 0,

"_csrf": "csrf"

}

动态获取CSRF

当我们每次向目标地址发起一个Request请求时，表单内部会动态生成一个csrf口令，并将其与html页面内容一起返回，因此我们可以通过解析页面内容来获取csrf口令。这里我们使用HTMLlParser来找到_csrf标签对应的内容。

class Myparser(HTMLParser):

def __init__(self):

HTMLParser.__init__(self)

self.values = 0

def handle_starttag(self, tag, attrs):

def _attr(attrlist, attrname):

for each in attrlist:

if attrname == each[0]:

return each[1]

return None

if tag == 'input' and _attr(attrs, 'name') == '_csrf':

self.values = _attr(attrs, 'value')

def get_csrf(login):

data = login.text

par = Myparser()

par.feed(data)

return par.values

模拟浏览器登录

我们使用requests库实例化一个会话，然后使用我们构建的表单内容与Headers来进行登录，其中csrf是动态获取的。这样我们的信息就会被保存在这个对象中。

session_requests = requests.Session()

login = session_requests.get(login_url)

csrf = get_csrf(login)

payload["_csrf"] = csrf

login = session_requests.post(login_url, data=payload, headers=headers1)

为了检查是否请求成功，可以查看请求发回的状态码

login.status_code

解析用户页面并发起请求

在访问用户信息页面并刷新时，我们使用下面的头文件发起请求，其中referer是根据我们要访问的地址动态更新的。

headers2 = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',

'Content-Type': 'application/x-www-form-urlencoded',

'Referer': '',

'Upgrade-Insecure-Requests': '1'

}

home是我们要访问的用户信息页面，我们从中提取列表中的网址，并解析出id。其中每个页面的内的刷新按钮是与对应的js相关联的，因为我们通过前面固定的网址与id动态构建出刷新请求的地址。最后我们按照刷新的cd，使用更新后的Headers发起刷新请求。

getstat = session_requests.get(home)

urls = list(set(re.findall(pattern1, getstat.text)))

ids = [re.findall(pattern2, url)[1] for url in urls]

refresh = ["https://www.shicheng.one/node/refresh?id=" + i for i in ids]

while True:

for r, url in zip(refresh, urls):

headers2['Referer'] = url

getstat = session_requests.get(r, headers=headers2)

print('Refresh at ' + time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))

time.sleep(6 * 60 * 60)

完整代码

# coding: utf8

import re

import time

import requests

from html.parser import HTMLParser

class Myparser(HTMLParser):

def __init__(self):

HTMLParser.__init__(self)

self.values = 0

def handle_starttag(self, tag, attrs):

def _attr(attrlist, attrname):

for each in attrlist:

if attrname == each[0]:

return each[1]

return None

if tag == 'input' and _attr(attrs, 'name') == '_csrf':

self.values = _attr(attrs, 'value')

def get_csrf(login):

data = login.text

par = Myparser()

par.feed(data)

return par.values

def run():

print("Press 'Ctrl+C' to exit...")

rule1 = r'http://www\.shicheng\.one/s1/\d+'

pattern1 = re.compile(rule1)

pattern2 = re.compile(r'\d+')

login_url = 'https://www.shicheng.one/user/login'

home = 'https://www.shicheng.one/member/index?id=16973'

headers1 = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',

'Content-Type': 'application/x-www-form-urlencoded',

'Origin': 'https://www.shicheng.one',

'Referer': 'https://www.shicheng.one/user/login',

'Upgrade-Insecure-Requests': '1'

}

headers2 = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',

'Content-Type': 'application/x-www-form-urlencoded',

'Referer': '',

'Upgrade-Insecure-Requests': '1'

}

payload = {

"LoginForm[username]": "username",

"LoginForm[password]": "password",

"LoginForm[rememberMe]": 0,

"_csrf": ""

}

session_requests = requests.Session()

login = session_requests.get(login_url)

csrf = get_csrf(login)

payload["_csrf"] = csrf

login = session_requests.post(login_url, data=payload, headers=headers1)

getstat = session_requests.get(home)

urls = list(set(re.findall(pattern1, getstat.text)))

ids = [re.findall(pattern2, url)[1] for url in urls]

refresh = ["https://www.shicheng.one/node/refresh?id=" + i for i in ids]

while True:

for r, url in zip(refresh, urls):

headers2['Referer'] = url

getstat = session_requests.get(r, headers=headers2)

print('Refresh at ' + time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))

time.sleep(6 * 60 * 60)

if __name__ == '__main__':

run()