python selenium+requests+browsermobproxy 捕获网络请求，模拟提交刷课

最新推荐文章于 2024-04-24 13:35:29 发布
最新推荐文章于 2024-04-24 13:35:29 发布
阅读量1k 收藏 9
点赞数
分类专栏： Python 文章标签： python selenium chrome
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/panwanpeng/article/details/126684976
版权

仅以此文记录python selenium+requests+browsermobproxy 捕获网络请求，模拟提交刷课


from selenium.webdriver import Chrome, ActionChains
from selenium.webdriver import ChromeOptions
import os

#pip install browsermob-proxy
#https://github.com/lightbody/browsermob-proxy/releases
from browsermobproxy import Server
from selenium.webdriver.chrome.options import Options

from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time, re, urllib.request,requests,json

class gzwy(object):
    def __init__(self):
        option = ChromeOptions()
        option.add_experimental_option("excludeSwitches", ['enable-automation']) #不显示自动化控制
        #option.add_argument(r'--user-data-dir=C:\Users\ASUS\AppData\Local\Google\Chrome\User Data\Default')# 设置个人资料路径

        #设置代理
        server = Server(r'data\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')
        server.start()
        self.proxy = server.create_proxy()
        option.add_argument('--proxy-server={0}'.format(self.proxy.proxy))
        # 解决 您的连接不是私密连接问题
        option.add_argument('--ignore-certificate-errors')
        option.add_argument('--ignore-urlfetcher-cert-requests')

        self.proxy.new_har("test", options={'captureContent': True, 'captureHeaders': True})#开启一个代理监控

        s = Service('data/Application/chromedriver.exe')
        self.driver = Chrome(service=s,options=option)
        self.driver.implicitly_wait(10)
        self.driver.set_window_size(1000, 1000)

    def login(self,username,password):

        self.driver.get('https://****.gov.cn/dsfa/nc/pc/logins/views/login.html')

        usename_input = self.driver.find_element('xpath',  '//*[@id="username"]')  # 账号
        usename_input.send_keys(username)
        time.sleep(0.1)
        password_input = self.driver.find_element('xpath', '//*[@id="password"]')  # 密码
        password_input.send_keys(password)
        time.sleep(0.1)

        xieyi_link = self.driver.find_element('xpath','//*[@id="vertifyCode"]') #验证码
        xieyi_link.send_keys('')

        button = self.driver.find_element('xpath', '//*[@id="LoginBtn"]')
        button.click()  # 点击重置
        time.sleep(0.1)
        self.driver.get('https://****.gov.cn/dsfa/nc/pc/main/views/main.html')
        self.driver.implicitly_wait(10)
    def gundongtiao(self):
        target = self.driver.find_element('xpath','/html/body/div[4]')
        self.driver.execute_script("arguments[0].scrollIntoView();", target)  # 将滚动条拖动到元素可见的地方
        time.sleep(0.2)
    def zhongwangyuan(self):
        time.sleep(1.5)
        self.gundongtiao()
        #点击进入网院
        zwyimg = self.driver.find_element('xpath','/html/body/div[4]/ul/li[2]/i/img')
        zwyimg.click()
        self.driver.implicitly_wait(10)
        all_handles = self.driver.window_handles  # 保存窗口句柄
        for i in all_handles:
            self.driver.switch_to.window(i)
        time.sleep(5)
        #进入专题
        self.driver.get('https://cela.*******.com/dsfa/nc/ztzl/ztzxkc/views/xisijuan.html?cela_sso_logged=true')
        self.driver.implicitly_wait(5)
        time.sleep(5)
        self.zhuantiliebiao()

    def zhuantiliebiao(self):
        zhuantilist = [
            'https://cela.*******.com/dsfa/nc/pc/course/views/course.html?type=2&id=3a56eadcd52640d9b08da950efd8baa3',
            'https://cela.*******.com/dsfa/nc/pc/course/views/course.html?type=2&id=880bb592a97e4fd6961bcd3753e68764',
            'https://cela.*******.com/dsfa/nc/pc/course/views/course.html?type=2&id=e9c8366c8524434e939c296bf99fd47a',
            'https://cela.*******.com/dsfa/nc/pc/course/views/course.html?type=2&id=4e2b4adb38704926a8960aff8b7cc531',

            'https://cela.*******.com/dsfa/nc/pc/course/views/course.html?type=2&id=559702aa3e1149c7b2219f8f60a10d03',
            'https://cela.*******.com/dsfa/nc/pc/course/views/course.html?type=2&id=c110cbf10a38416cba3402082bc8a5e5',
        ]
        all_handles = self.driver.window_handles  # 保存窗口句柄
        newhandle = self.driver.switch_to.new_window()#打开新窗口

        for url in zhuantilist:
            self.driver.get(url)
            time.sleep(1)
            self.driver.refresh()#刷新
            self.driver.implicitly_wait(5)
            relid = url.split('=')[-1]
            dwid,sfwc,wcjd,kcid,kjid,id,plwdid,NC_XXGL_XXJL_LOG_id,kjsc = self.get_sfwcAnd_wcjd(relid)
            print(dwid, sfwc, wcjd, kcid, kjid, id, plwdid, NC_XXGL_XXJL_LOG_id, kjsc)
                #relid
            print(sfwc)
            print(wcjd)

            #self.driver.find_element('xpath','//*[@id="chapterWarp"]/div/div/ul/li').click()#点击左边视频列表第一个视频
            time.sleep(10)

            #怎么学
            self.driver.find_element('xpath',
                                     '/html/body/div[1]/div[2]/div/div[1]/div/div[2]/div[2]/div[1]/button').click()  # 播放视频
            time.sleep(3)
            time.sleep(11)
            if (sfwc != '1'):
                self.study(relid)
            # while(sfwc!='1'):
            #     self.study()
                #self.stdy(dwid,kcid,kjsc,relid)
                #time.sleep(1000)
    def get_sfwcAnd_wcjd(self,relid):
        result = self.proxy.har
        for entry in result['log']['entries']:
            _url = entry['request']['url']
            # print(_url)
            # # 根据URL找到数据接口
            if "kjk/frontuse/getKcDetailMenu?type=2&relid="+relid in _url:
                print(_url)
                # 获取接口请求内容
                _request = entry['request']
                # 获取接口返回内容
                _response = entry['response']
                print(_response)
                content = json.loads(_response['content']['text'])
                print(content)
                dwid = content['dwid']
                sfwc = content['data']['dyInfo'][0]['kcParaInfo'][0]['sfwc']
                wcjd = content['data']['dyInfo'][0]['kcParaInfo'][0]['wcjd']
                kcid = content['data']['dyInfo'][0]['kcParaInfo'][0]['kjParaInfo'][0]['kcid']
                kjid = content['data']['dyInfo'][0]['kcParaInfo'][0]['kjParaInfo'][0]['kjid']
                id = content['data']['dyInfo'][0]['kcParaInfo'][0]['kjParaInfo'][0]['id']
                plwdid = content['data']['dyInfo'][0]['kcParaInfo'][0]['kjParaInfo'][0]['id']
                NC_XXGL_XXJL_LOG_id = content['data']['dyInfo'][0]['kcParaInfo'][0]['kjParaInfo'][0]['NC_XXGL_XXJL_LOG_id']
                kjsc = content['data']['dyInfo'][0]['kcParaInfo'][0]['kjParaInfo'][0]['kjsc']
                return dwid,sfwc,wcjd,kcid,kjid,id,plwdid,NC_XXGL_XXJL_LOG_id,kjsc
    def stdy(self,relid,courseid,kjsc):
        url = 'https://cela.*******.com/dsfa/nc/xxgl/xxjl/addXxjlByKczj'
        result = self.proxy.har
        for entry in result['log']['entries']:
            _url = entry['request']['url']
            # print(_url)
            # # 根据URL找到数据接口
            if "kjk/frontuse/getKcDetailMenu?type=2&relid="+relid in _url:
                print(_url)
                # 获取接口请求内容
                _request = entry['request']
                # 获取接口返回内容
                _response = entry['response']
                # 构造headers
                headers = {}
                for value in _request['headers']:
                    headers[value['name']] = value['value']
                print('构造headers:',headers)
                break


        bigtimespan = str(kjsc).split(':')
        totaltime = float(bigtimespan[0]) * 3600 + float(bigtimespan[1]) * 60 + float(bigtimespan[2])
        print(totaltime)

        timespan = '00:00:00'.split(':')
        timespan_h = int(timespan[0])
        timespan_m = int(timespan[1])
        timespan_s = int(timespan[2])

        postData ={
                "relid": relid,
                "bigtimespan": "00:24:40",
                "timespan": timespan,
                "pass": "0",
                "sumtime": "0.0",
                "everytime": "10",
                "courseid": courseid
            }
        for i in range(0, int(totaltime) + 50, 10):
            # 更新timespan
            timespan_s = timespan_s + 10
            if (timespan_s >= 60):
                timespan_m = timespan_m + 1
                timespan_s = timespan_s % 60
            if (timespan_m >= 60):
                timespan_h = timespan_h + 1
                timespan_m = timespan_m % 60

            newtimespan = str("{:0>2d}".format(timespan_h)) + ':' + str(
                "{:0>2d}".format(timespan_m)) + ':' + str("{:0>2d}".format(timespan_s))
            postData['timespan'] = newtimespan

            # postData['sumtime'] = float(postData['sumtime']) + 10
            print('postData:', postData)
            # 这里模拟提交
            # driver.execute_script(js)提交
            r = requests.post(url,headers=headers, data=postData)
            print('模拟提交返回数据：', r.text)

    def study(self,relid):
        result = self.proxy.har
        for entry in result['log']['entries']:
            _url = entry['request']['url']
            #print(_url)
            # # 根据URL找到数据接口
            if "xxjl/addXxjlByKczj" in _url:
                print(_url)
                # 获取接口请求内容
                _request = entry['request']
                # 获取接口返回内容
                _response = entry['response']
                print(_request)

                #构造模拟提交数据
                url = _request['url']
                # 构造headers
                headers = {}
                for value in _request['headers']:
                    headers[value['name']] = value['value']
                print('构造headers:',headers)
                postData = {}
                for value in _request['postData']['params']:
                    postData[value['name']] = value['value']
                print('postData:', postData)
                print('relid,postData[relid] :',relid,postData['relid'] )

                bigtimespan = str(postData['bigtimespan']).split(':')
                sumtime = float(postData['sumtime'])
                print(bigtimespan)
                totaltime = float(bigtimespan[0]) * 3600 + float(bigtimespan[1]) * 60 + float(bigtimespan[2])
                print(totaltime)
                timespan = str(postData['timespan']).split(':')
                print('timespan:', timespan)

                timespan_h = int(timespan[0])
                timespan_m = int(timespan[1])
                timespan_s = int(timespan[2])

                for i in range(int(sumtime), int(totaltime)+50, 10):
                    # 更新timespan
                    timespan_s = timespan_s + 10
                    if (timespan_s >= 60):
                        timespan_m = timespan_m + 1
                        timespan_s = timespan_s % 60
                    if (timespan_m >= 60):
                        timespan_h = timespan_h + 1
                        timespan_m = timespan_m % 60

                    newtimespan = str("{:0>2d}".format(timespan_h)) + ':' + str(
                        "{:0>2d}".format(timespan_m)) + ':' + str("{:0>2d}".format(timespan_s))
                    postData['timespan'] = newtimespan
                    #postData['sumtime'] = float(postData['sumtime']) + 10
                    print('postData:', postData)
                    #这里模拟提交
                    #driver.execute_script(js)提交
                    r = requests.post(url,headers=headers,data=postData)
                    print('模拟提交返回数据：',r.text)





if __name__ == '__main__':
    gzwy = gzwy()
    gzwy.login('202156875','1388888888')
    gzwy.zhongwangyuan()

侵删

** 仅以此文记录代码，请勿用作非法用途，否则后果由使用者自负，如有侵权请联系删除。 **

过期程序猿
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java-selenium-browsermobProxy:一个使用Selenium中的BrowserMob代理捕获网络呼叫的简单示例
03-15
java-selenium-browsermobProxy 一个使用Selenium中的BrowserMob代理捕获网络呼叫的简单示例
selenium 捕获网络请求
白天安全建设，晚上全栈开发，大模型爱好者。公众号：飞羽技术工坊。
01-14 984
之前分享过CDP的知识，现在有一个需求需要在selenium自动化时捕获网络请求，这里记录一下。
Selenium爬虫-获取浏览器Network请求和响应
热门推荐
THMAIL的博客
09-19 2万+
1.问题 自从发现Selenium这块新大陆后，许多异步加载、js加密、动态Cookie等问题都变得非常简单，大大简化了爬虫的难度。 但是有些时候使用Selenium仍然有一些缺陷，比如现在很多网站数据都是通过json结构的接口来交互，通过分析报文的方式直接发包可以直接拿到json数据，数据不但全而且还很好解析，这比解析html网页容易多了。另一个非常重要的问题就是，很多时候一些接口返...
browsermob-proxy-py: Python绑定的BrowserMob代理
gitblog_00066的博客
03-15 980
browsermob-proxy-py: Python绑定的BrowserMob代理 browsermob-proxy-py是一个Python绑定的BrowserMob代理，它允许您控制一个本地或远程的BrowserMob代理服务器，以便进行网络监控、分析和修改。 项目简介 browsermob-proxy-py提供了一个简单的API，可以轻松地与HTTP请求交互，并从中获取各种有用的信息。它...
Selenium中如何抓取网络请求响应及WebSocket信息
MXB_1220的博客
07-17 2226
！我个人整理了我这几年软件测试生涯整理的一些技术资料，包含：电子书，简历模块，各种工作模板，面试宝典，自学项目等。欢迎大家点击下方名片免费领取，千万不要错过哦。
Java爬虫 通过Chromedriver+Chrome浏览器+selenium获取页面的请求和响应（未完全实现）
Meteors.的博客
07-09 2589
因为最近看到一个软件可以实现网页的识别，自动导入网页的内容，感觉这个功能很厉害（真心佩服设计那个软件的人）。但不清楚这个软件的网页识别的实现，也没有接触过相关的技术，就上网搜索并学习一些相关的技术，所以有了这篇文章。但是只能获取简单的请求，一些复杂的请求获取不了（会报错，说是解析不了获取的preflight ---> 好像是一个涉及跨域请求的东西）。~~）最后，虽然是刚入门，但分享这个的初衷，是用于帮助其他伙伴对一些软件功能的实现提供一些思路。
selenium捞取http请求信息
小冯先生的博客
11-12 7559
UI自动化过程中，经常存在需要获取http请求信息的场景。 例如：元素文案为接口返回需要，需要验证文案正确性；出现报错时方便排查问题，打印http请求日志等 方式一：selenium-wire selenium-wire官网 该库仅支持python3.6+ # 以获取API商城 - IP查询服务的timestamp签名为例 # 是seleniumwire 不是 selenium import time from seleniumwire import webdriver driver = webdrive
Python Selenium 抓取 network 网络请求
jiangshanwe
10-21 5450
使用 Python + Selenium 进行 UI 自动化测试时，需要根据 api 接口的返回信息（比如创建接口返回的对象编号或者 id），进行下一步的测试。手工测试时，会根据创建时间或者其它业务信息综合判断，来找到刚刚提交的信息。但是自动化测试在并发测试的时候就容易判断错误。
python3 selenium 事件监听
花小田的魔法屋
05-04 2909
python3 selenium 事件监听 做UI层自动化代码运行起来抛出的各种异常让人捉急，在排查问题过程中debug模式的调试加日志信息是常用的手段。介绍一种一种方法能监听WebDriver的事件，可以在WebDriver事件发生前后做一些事情，利用这个特性可以完成很多东西，比如报错自动截图等。 from selenium import webdriver from selenium.webdriver.support.events import EventFiringWebDriver, Abstra
python监听网络请求_如何使用python运行一个webkit核心加载某个页面，从而监控到页面的所有请求？...
weixin_39561168的博客
12-06 766
主要是要执行页面里面的JS，并且可以监控到发送的HTTP请求。就像chrome的network面板一样~因为是服务器跑，selenium之类的开打一个浏览器的不考虑~(而且它也不支持)1638 次点击 ∙ 5 人收藏 取消收藏 Tweet Weibo 忽略主题 感谢页面 监控 请求5 回复 | 直到 2013-09-16 23:51:12 +08:00Reply 1din...
python+selenium+unittest环境搭建1
08-08
python+selenium+unittest环境搭建1
python-贝壳-selenium+requests
05-09
使用python＋requests＋selenium　抓取贝壳APP房源信息保存到excel表格中
Python自动化测试实战篇（4）selenium+unttest+ddt实现自动化用例测试，模拟用户登陆点击交互测试
02-09
Python自动化测试实战篇（4）selenium+unttest+ddt实现自动化用例测试，模拟用户登陆点击交互测试，Assert捕获断言多种断言
python+selenium+unittest自动化测试demo
10-09
使用python+selenium+unittest自动化测试框架编写的一个demo，可实现测试用例管理，批量执行用例，生成测试报告，自动发送邮件等功能
Ansible 指定受控端使用Python的版本
shijin741231的博客
04-20 596
最近在装Ansible，有一台受控端Ubuntu16的服务器，安装了Python2.7.12和Pyhon3.5。当用Ansible连接它时，显示使用的是Python3.5。最后看文档，发现Ansible可以在hosts的文件中指定受控服上运行的Python。
【编译程序介绍】
武帝为此的博客
04-22 1205
简单来说，编译程序是一个软件，它读取用某种编程语言编写的源代码，分析并转换成等效的、可执行的机器语言代码。这个过程涉及多个复杂的步骤，包括语法分析、语义分析、代码优化和代码生成等。
[python3] 读取一个正在更新的日志文件
最新发布
言之。
04-24 232
等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪。这两种方法都会持续监听日志文件的变化，并实时读取新增的日志内容。你可以根据实际需求选择其中一种方法。要读取一个正在更新的日志文件（即实时写入的日志文件），你可以使用 Python 的。的技巧来实现实时读取。函数打开文件，并使用。
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 594
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
selenium 拦截请求
05-30
from browsermobproxy import Server server = Server("path/to/browsermob-proxy") server.start() proxy = server.create_proxy() options = webdriver.ChromeOptions() options.add_argument('--proxy-server={...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值