python环境下browsermobproxy+selenium实现豆瓣模拟登录

最新推荐文章于 2024-05-28 09:57:43 发布
最新推荐文章于 2024-05-28 09:57:43 发布
阅读量2.1k 收藏 13
点赞数 3
文章标签： python selenium 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45705515/article/details/121948796
版权
一、实验名称

python环境下browsermobproxy+selenium实现豆瓣模拟登录。

二、基本原理

（一）概述

​ 使用selenium模拟打开页面、输入账户密码、点击、滑动等操作，browsermobproxy设置代理抓取包含滑动验证码图像的请求。实验中难点在于滑动验证码的破解。

（二）browsermobproxy

​ BrowserMob Proxy允许操作HTTP请求和响应，捕获HTTP内容，并将性能数据导出为HAR文件。按下列教程安装好后即可运行。（https://blog.csdn.net/qq_44315987/article/details/116501955）

​ 如下所示例子中result存储了webdriver访问时的请求。

from selenium import webdriver
from browsermobproxy import Server

server = Server(r'D:\python_env\exper4\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')
server.start()
proxy = server.create_proxy()
print('proxy', proxy.proxy)
chrome_options = Options()
chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
proxy.new_har("douban", options={'captureHeaders': True, 'captureContent': True})
browser.get('https://accounts.douban.com/passport/login_popup?login_source=anony')
result = proxy.har

使用json格式化工具可以查看每一条请求的url。
请添加图片描述

从目标url中可以抓取验证图片。这样处理是因为直接通过元素查找不能找到所需图片。
请添加图片描述

（三）查找缺口位置

​ 获取到无缺口的原图、带缺口的图片后，我们需要定位缺口的位置。由于图片中存在一些干扰因素（如下方两张灰度图的上面一张图的上边缘依稀可以看到一些白色的噪点，也就是说两张图不同的部分不止缺口所在位置），直接通过单个像素比较不能准确找到缺口的位置。
请添加图片描述
请添加图片描述

​ 下面时我借助卷积神经网络的思想实现的一种图片比较方法。

​ 将两个灰度图像对应的矩阵进行相减，同时采取极端的阈值（设为1）将所得图像进行二值化，得到如下图像（白色部分灰度值为255，黑色部分灰度值为0）。

请添加图片描述

然后用一个大小与拼图块相同，元素全为1的卷积核对图像进行类似卷积的操作（即分块求和）。

# seghalf 为 拼图块的边长的一半
# height,width分别为原图的宽和长
core_array = np.zeros((height,width))
step_size = 5 # 步长，减小计算量
for i in range(seghalf,height-seghalf, step_size):
    for j in range(seghalf,width-seghalf, step_size):
        temp_array = minus_pic[i-seghalf:i+seghalf,j-seghalf:j+seghalf]
        core_array[i][j] = np.sum(temp_array)

​ 所得结果core_array中最大元素所在位置即为拼图的中心。

（四）滑动操作

​ 使用坐标工具对相关位置进行定位，调用Selenium相关鼠标事件即可完成操作。

​ 滑动不能过于僵硬，需要模拟人手动滑动过程。

# 模拟人为拖动
def get_track(distance):
    """
    根据偏移量获取移动轨迹
    :param distance: 偏移量
    :return: 移动轨迹
    """
    # 移动轨迹
    track = []
    # 当前位移
    current = 0
    # 减速阈值
    mid = distance * 4 / 5
    # 计算间隔
    t = 0.2
    # 初速度
    v = 0
    while current < distance:
        if current < mid:
            # 加速度为正2
            a = 2
        else:
            # 加速度为负3
            a = -1
        # 初速度v0
        v0 = v
        # 当前速度v = v0 + at
        v = v0 + a * t
        # 移动距离x = v0t + 1/2 * a * t^2
        move = v0 * t + 1 / 2 * a * t * t
        # 当前位移
        current += move
        # 加入轨迹
        track.append(round(move))
    return track
（五）防检测

​ 这是后面发现的问题，selenium默认情况下会出现表单无法提交的情况。

请添加图片描述

​ 因此也需要设置一些参数将自己隐藏起来，如打开谷歌开发者模式，去取webdriver标识。

# 开发者模式
chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])
chrome_options.add_argument("--disable-blink-features=AutomationControlled")
    
# 去除webdriver标识
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
            "source": """
                            Object.defineProperty(navigator, 'webdriver', {
                              get: () => undefined
                            })
                          """
        })

打开开发者模式后，标签栏附近的自动测试提示也消失了。
请添加图片描述

三、具体步骤

1. 导入相关库
import re
import cv2
import time
import requests
import numpy as np
from selenium import webdriver
from browsermobproxy import Server
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
2.配置代理
# 配置代理
    server = Server(r'D:\python_env\exper4\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat') # bat路径
    server.start()
    proxy = server.create_proxy()
    print('proxy', proxy.proxy)
    chrome_options = Options()
    chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))
    proxy.new_har("douban", options={'captureHeaders': True, 'captureContent': True})
    # 防检测
    chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])
    chrome_options.add_argument("--disable-blink-features=AutomationControlled")
3.打开浏览器访问登录页面
browser = webdriver.Chrome(chrome_options=chrome_options)

# 去掉webdriver标识防检测
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
                            Object.defineProperty(navigator, 'webdriver', {
                              get: () => undefined
                            })
                          """
})
# 打开目标窗口
browser.get('https://accounts.douban.com/passport/login_popup?login_source=anony')
browser.maximize_window()
time.sleep(1)
browser.find_elements(by=By.XPATH,value='//li[@class="account-tab-account"]')[0].click()
time.sleep(1)

username = ''	# 账号
password = ''	# 密码
browser.find_elements(by=By.XPATH,value='//input[@class="account-form-input"]')[0].send_keys(username)  # 输入用户名
browser.find_elements(by=By.XPATH,value='//input[@class="account-form-input password"]')[0].send_keys(password) # 输入密码
browser.find_elements(by=By.XPATH,value='//div[@class="account-form-field-submit "]')[0].click() # 点击登录
time.sleep(sleep_time)
result = proxy.har
# with open('output.txt','w',encoding='utf8') as f:
#     f.write(str(result))
# break
pic_url = None
# 抓取图像url
for entry in result['log']['entries']:
    _url = entry['request']['url']
    # 根据URL找到数据接口
    if "hycdn?" in _url:
        pic_url = _url
        print(pic_url)
        break

# 抓取时尚未发出请求，则重新访问抓取
if pic_url is None:
    print('no_data')
    sleep_time += 1
    browser.close()
    continue
# 停止代理
server.stop()

成功输入账号密码，打开验证码界面：

在这里插入图片描述

同时获得pic_url如下：

https://t.captcha.qq.com/hycdn?index=1&image=937625773573401088?aid=2044348370&sess=s0BPJKOhJ6Ui0xiAFkP8g9qIYCeMDfa0j2uQUgwwb0AT-dzDfRcdgckFzZL0EeTHhTKk8cCf0pHiyGsz2es72seJrNody8vV65ESofx0b2w8Y4WVkARtWmUjanuJjIoyMK2tYrqfU1A9mYcf7Ekv64ycewssZ_RW-nYJfiWuG6wkqqZ50ZcfrLuDaxsXDVkff1BUkUOV2HBjTRyGbVO08Gy7azDs8_sBJI7_KVuDQWoL8zuJVl6sDw_WkXL-5h3XnNirWtKA0Yf5tRT0MfAOW0fMXmbuCGNJ5ljszCluWuHJXxUME_O9R59g

4.将验证图片保存到本地

​ 使用正则表达式对url关键位置字符进行替换得到三张图的url。使用requests库访问后将返回值保存到本地。

# 分别获取三张图片
origin_pic = re.sub('img_index=\d&','img_index=0&',pic_url)
unfull_pic = re.sub('img_index=\d&','img_index=1&',pic_url)
seg_pic = re.sub('img_index=\d&','img_index=2&',pic_url)

# 保存原图
response = requests.get(origin_pic)
with open('origin.jpg','wb') as f:
    f.write(response.content)

# 保存带缺口的图片
response = requests.get(unfull_pic)
with open('unfull.jpg','wb') as f:
    f.write(response.content)

# 保存缺口图片
response = requests.get(seg_pic)
with open('seg.jpg','wb') as f:
    f.write(response.content)
5.查找缺口位置
# 打开灰度图像origin = cv2.imread('origin.jpg',cv2.IMREAD_GRAYSCALE)unfull = cv2.imread('unfull.jpg',cv2.IMREAD_GRAYSCALE)seg = cv2.imread('seg.jpg',cv2.IMREAD_GRAYSCALE)height,width = origin.shape # 图像大小segheight = 114/171*136     # 拼图块中央部分大小seghalf = int(segheight/2)  # 拼图块大小的一半rate = 282/width            # 网页中图片与下载图片的比例# 求minus_pic = np.array(origin)-np.array(unfull)# 二值化m, n = minus_pic.shapefor i in range(m):    for j in range(n):        if minus_pic[i][j] > 0:            minus_pic[i][j] = 255cv2.imwrite('minus.jpg',minus_pic)core_array = np.zeros((height,width))# 依次计算每个窗口灰度值的和step_size = 5for i in range(seghalf,height-seghalf, step_size):    for j in range(seghalf,width-seghalf, step_size):        temp_array = minus_pic[i-seghalf:i+seghalf,j-seghalf:j+seghalf]        core_array[i][j] = np.sum(temp_array)# 获得最大值索引m, n = core_array.shapeindex = int(core_array.argmax())y_move = int(index / n)x_move = index % nprint(n,m)print(x_move,y_move)

结果如下所示（上方为图片尺寸，下方为缺口位置）：

请添加图片描述

与二图相减并二值化处理的图像进行对比，发现几乎一致。

请添加图片描述

6.根据坐标对滑块进行拖动
# 网页中图片与下载图片的比例rate = 282/width            # 滑块目标位置x_target = x_move*rate + 12/375*298y_target = y_base# 移动到滑动条起始位置webdriver.ActionChains(browser).move_by_offset(x_base,y_base).click().perform()distance = x_target-x_base# 模仿人类行为缓慢滑动tracks = get_track(distance)tracks.append(-(sum(tracks)-distance)) # 补正操作for track in tracks: 	    webdriver.ActionChains(browser).move_by_offset(track,0).perform()webdriver.ActionChains(browser).click().perform()

截图快捷键捕捉不到成功的瞬间，就用手机相机拍摄图片了。

在这里插入图片描述

可以看到验证通过，精准无敌了！

此外尝试登陆次数过多时官网也会对帐号进行检测，需下载App扫码登陆，最近好像一直不行（可能这就是它的营销策略吧）。

请添加图片描述

四、完整代码

加入简单的异常处理后总结完整代码如下

import reimport cv2import timeimport requestsimport numpy as npfrom selenium import webdriverfrom browsermobproxy import Serverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.chrome.options import Options# 帐号密码username = ''password = ''# 模拟人为拖动def get_track(distance):    """    根据偏移量获取移动轨迹    :param distance: 偏移量    :return: 移动轨迹    """    # 移动轨迹    track = []    # 当前位移    current = 0    # 减速阈值    mid = distance * 4 / 5    # 计算间隔    t = 0.2    # 初速度    v = 0    while current < distance:        if current < mid:            # 加速度为正2            a = 2        else:            # 加速度为负3            a = -1        # 初速度v0        v0 = v        # 当前速度v = v0 + at        v = v0 + a * t        # 移动距离x = v0t + 1/2 * a * t^2        move = v0 * t + 1 / 2 * a * t * t        # 当前位移        current += move        # 加入轨迹        track.append(round(move))    return trackif __name__ == '__main__':    # 配置代理    server = Server(r'D:\python_env\exper4\browsermob-proxy-2.1.4\bin\browsermob-proxy.bat')    server.start()    proxy = server.create_proxy()    print('proxy', proxy.proxy)    chrome_options = Options()    chrome_options.add_argument('--proxy-server={0}'.format(proxy.proxy))    # 防检测    chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])    chrome_options.add_argument("--disable-blink-features=AutomationControlled")    proxy.new_har("douban", options={'captureHeaders': True, 'captureContent': True})    pic_url = None    sleep_time = 6    while not pic_url:        # 打开目标窗口        browser = webdriver.Chrome(chrome_options=chrome_options)        # 去掉webdriver标识防检测        browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {            "source": """                            Object.defineProperty(navigator, 'webdriver', {                              get: () => undefined                            })                          """        })        # browser = webdriver.Chrome()        browser.get('https://accounts.douban.com/passport/login_popup?login_source=anony')        # browser.get('https://accounts.douban.com/passport/login?redir=https://accounts.douban.com/')        browser.maximize_window()        time.sleep(1)        browser.find_elements(by=By.XPATH,value='//li[@class="account-tab-account"]')[0].click()        time.sleep(1)        browser.find_elements(by=By.XPATH,value='//input[@class="account-form-input"]')[0].send_keys(username)  # 输入用户名        time.sleep(2)        browser.find_elements(by=By.XPATH,value='//input[@class="account-form-input password"]')[0].send_keys(password) # 输入密码        time.sleep(2)        browser.find_elements(by=By.XPATH,value='//div[@class="account-form-field-submit "]')[0].click() # 点击登录        time.sleep(sleep_time)        result = proxy.har        # with open('output.txt','w',encoding='utf8') as f:        #     f.write(str(result))        # break        pic_url = None        # 抓取图像url        for entry in result['log']['entries']:            _url = entry['request']['url']            # 根据URL找到数据接口            if "hycdn?" in _url:                pic_url = _url                print(pic_url)                break        # 抓取时尚未发出请求，则重新访问抓取        if pic_url is None:            print('no_data')            sleep_time += 1            browser.close()            continue        # 停止代理        server.stop()    # 分别获取三张图片    origin_pic = re.sub('img_index=\d&','img_index=0&',pic_url)    unfull_pic = re.sub('img_index=\d&','img_index=1&',pic_url)    seg_pic = re.sub('img_index=\d&','img_index=2&',pic_url)    # 保存原图    response = requests.get(origin_pic)    with open('origin.jpg','wb') as f:        f.write(response.content)    # 保存带缺口的图片    response = requests.get(unfull_pic)    with open('unfull.jpg','wb') as f:        f.write(response.content)    # 保存缺口    response = requests.get(seg_pic)    with open('seg.jpg','wb') as f:        f.write(response.content)    # 打开灰度图像    origin = cv2.imread('origin.jpg',cv2.IMREAD_GRAYSCALE)    unfull = cv2.imread('unfull.jpg',cv2.IMREAD_GRAYSCALE)    seg = cv2.imread('seg.jpg',cv2.IMREAD_GRAYSCALE)    height,width = origin.shape # 图像大小    segheight = 114/171*136     # 拼图块中央部分大小    seghalf = int(segheight/2)  # 拼图块大小的一半    rate = 282/width            # 网页中图片与下载图片的比例    # 求    minus_pic = np.array(origin)-np.array(unfull)    # 二值化    m, n = minus_pic.shape    for i in range(m):        for j in range(n):            if minus_pic[i][j] > 0:                minus_pic[i][j] = 255    cv2.imwrite('minus.jpg',minus_pic)    core_array = np.zeros((height,width))    # 依次计算每个窗口灰度值的和    step_size = 5    for i in range(seghalf,height-seghalf, step_size):        for j in range(seghalf,width-seghalf, step_size):            temp_array = minus_pic[i-seghalf:i+seghalf,j-seghalf:j+seghalf]            core_array[i][j] = np.sum(temp_array)    # 获得最大值索引    m, n = core_array.shape    index = int(core_array.argmax())    y_move = int(index / n)    x_move = index % n    print(n,m)    print(x_move,y_move)    # 滑动条起始位置    x_base = 76/375*298    y_base = 287/375*298    print(x_base,y_base)    # 滑块目标位置    x_target = x_move*rate + 12/375*298    y_target = y_base    print(x_target,y_target)    # 移动到滑动条起始位置    webdriver.ActionChains(browser).move_by_offset(x_base,y_base).click().perform()    distance = x_target-x_base    # webdriver.ActionChains(browser).move_by_offset(distance, 0).click().perform()    tracks = get_track(distance)    tracks.append(-(sum(tracks)-distance))    for track in tracks:        webdriver.ActionChains(browser).move_by_offset(track,0).perform()    webdriver.ActionChains(browser).click().perform()    time.sleep(10)

五、实验感受

​ 1.实验中验证图片不能直接通过查找元素得到，需要拦截请求做出相应操作，browsermobproxy可以很好地解决这个问题。

​ 2.图片比较过程中单纯比较像素点的方法不是很有效，参考卷积神经网络思想使用卷积核对图像进行分块求和可以以相对较高的效率地查找到两张图片的不同区域位置。

​ 3.在网页通过坐标进行鼠标事件操作是个令人头疼的问题，出于显示设置及坐标工具显示问题，在选取过程中一般需要通过css显示尺寸和所量得的尺寸进行一个等比缩放。

​ 4.即使使用selenium也有被检测的可能。

​ 5.打码服务贵有贵的理由。

淡定的钟仁
关注
  • 3
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
详解python使用browsermobproxy获取当前网页xhr的get数据方法
qq_54085445的博客
03-02 5457
前言 很多时候使用爬虫时并不能或许到我们想要的信息，这是因为有些数据是用json代码书写，并通过xhr异步加载到网页。 因此我们并不能在页面中获取，此时可通过解析json代码获取目标信息。 一、如何找到目标xhr地址？ 以抖音中的canvas图片信息为例，从下图可以看出，图中有数字出现，但定位到canvas中却并没附带这些数据： 这个时候我们可以通过查找网络中的xhr请求，找到初始数据的链接，如下图操作，在出现的xhr请求中寻找到目标文件，如果xhr下没有所需数据，可以尝试刷新页面： 经尝试后不难找
python selenium+browsermob-proxy抓取请求数据示例
Alice0424Xiaoq的博客
04-28 1224
BrowserMob Proxy是一个用户操作浏览器代理的工具，它可以用于记录和分析HTTP请求和响应。主要用途之一是用于自动化测试，例如本文所写。
探秘高效网络测试：BrowserMob-Proxy 开源项目详解
最新发布
gitblog_00094的博客
05-28 454
探秘高效网络测试：BrowserMob-Proxy 开源项目详解 项目地址:https://gitcode.com/webmetrics/browsermob-proxy 1. 项目介绍 在软件开发中，尤其是Web应用的测试领域，【BrowserMob-Proxy】是一个不可或缺的工具。它是一个灵活的HTTP代理服务器，专为自动化测试和抓取数据而设计。通过这个开源项目，你可以轻松地拦截、修改或记录...
Browsermob-Proxy（Selenium）爬取浏览器获取Har信息（含实例）
进击的Explorer
01-18 5342
使用Selenium 爬取网页内容时，异步加载、js加密、动态Cookie等问题都非常简单的能够获取或提交表单。 很多网站数据都是通过json 结构来交互，直接分析json 结构数据不但全而且很好解析，这比解析 html 网页简单很多。而且很多时候一些接口返回的关键信息不在 html 网页上显示，直接通过 selenium 获得的这些网页就没有这些信息。 selenium + webdriver虽然能够定位DOM元素、操作网页、获取网页等，但是 Selenium 只能处理“结果”，它无法得知浏览器请求的数据
【教程】browsermob-proxy 基于Java的代理服务 配合selenium使用
我是Superman丶的博客
02-01 3413
【教程】browsermob-proxy 基于Java的代理服务 配合selenium使用
Python爬虫(二十二)_selenium案例：模拟登陆豆瓣
javasdn的博客
10-07 1017
分享一份Python的学习资料，但由于篇幅有限，完整文档可以扫码免费领取！！！1）Python所有方向的学习路线（新版）总结的Python爬虫和数据分析等各个方向应该学习的技术栈。比如说爬虫这一块，很多人以为学了xpath和PyQuery等几个解析库之后就精通的python爬虫，其实路还有很长，比如说移动端爬虫和JS逆向等等。（2）Python学习视频。
python3.7+selenium模拟淘宝登录功能的实现
09-16
主要介绍了python3.7+selenium模拟登录淘宝功能，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
Python+Selenium+phantomjs实现网页模拟登录和截图功能(windows环境)
09-18
Python是一种跨平台的计算机程序设计语言，它可以运行在Windows、Mac和各种Linux/Unix系统上。这篇文章主要介绍了Python+Selenium+phantomjs实现网页模拟登录和截图功能,需要的朋友可以参考下
基于python+pytest+Selenium+allure,完成web自动化测试框架的搭建.zip
01-11
基于python+pytest+Selenium+allure,完成web自动化测试框架的搭建，并可以在jenkins上持续集成，应用于课堂派web自动化测试项目中，取得良好效果 软件开发设计：应用软件开发、系统软件开发、移动应用开发、网站开发...
python+selenium+unittest环境搭建1
08-08
Python+Selenium+Unittest环境搭建详解 Python+Selenium+Unittest环境搭建是自动化测试中的一种重要组件，本文将详细介绍如何搭建Python+Selenium+Unittest环境，并解决在搭建过程中可能遇到的问题。 一、安装...
python+Selenium爬虫：模拟登录+自动点击.zip
12-29
通过这个压缩包中的示例，你将能够了解到如何结合Python和Selenium实现模拟登录和自动点击，从而抓取需要的数据。记得在实际操作时，遵守网站的robots.txt协议，尊重数据抓取的道德规范，避免对网站造成过大负担。...
selenium模拟登陆豆瓣并获取cookies
python爬虫人工智能大数据
05-14 7182
验证码处理与模拟登陆豆瓣，首先我们看到豆瓣没有cookies，我们需要用程序来模拟登陆获取cookies（当前有些情况下自己手动登陆后复制粘贴cookies也能登陆），该文主要讲方法，如何用selenium模拟登陆获取cookies1、输入用户名、密码点击登录，点击登录后跳转到另外一个验证码页面，并通过云打码进行验证码返回2、验证码返回后输入后通过字典推导式获取每个domain中的name和val...
java selenium使用BrowserMobProxy代理
fx9590的博客
03-07 4131
java selenium目前想要监听网络请求和修改响应返回内容BrowserMobProxy代理是一个很好的选择，具体原理可以自行百度代理服务的原理，selenium4的阿尔法版本也开始添加类似的功能了，不过目前不是很完善,代码方面使用起来也很方便，下面直接看代码把。 BrowserMobProxy在和selenium集成的使用中性能消耗比较大其他方面暂时没有发现其他问题在git上看到有一个2.1.6的版本但是没有上传,目前最新的版本是2.1.5也是2017年的代码了。 package com.watch
【java爬虫】selenium+browsermob入门实战
haohulala的博客
06-24 2278
到这里，本文的主要内容就介绍完了。使用selenium+browsermob可以非常方便地进行网络数据收集，不过我感觉有一个缺点就是运行起来非常慢，在爬下批量数据的情况下可以使用，但是如果要快速爬取大批量数据的话，还是直接用http去请求接口，对于反爬虫机制比较好的接口，可以去研究一下js逆向，selenium相对于直接去请求接口的一大优势就是不用花时间去研究js逆向，直接写代码去获取数据就完事了。那么本文就到此结束，如果你有什么想和我交流讨论欢迎评论区留言。
Selenium+Browsermob-Proxy获取浏览器Network请求和响应
MingT-L的博客
10-26 7855
写在前面 尝试使用Selenium和Browsermob-Proxy把network里面的数据扒下来。个人觉得这样扒数据又全又清晰，遂写下本文记录扒拉勾网数据时的踩坑过程。还用于个人回顾或给正在坑里的朋友提供一丢丢一丢丢的帮助。 Selenium 安装驱动，建议把驱动放在python.exe同级目录下，使用时可以不用写驱动地址 驱动要与自己的chrome浏览器版本相适应 Chrome Selenium驱动下载 Browsermob-Proxy Browsermob-Proxy Github下载
selenium与browsermob-proxy
小蛙
12-18 1万+
BrowserMob Proxy允许您操作HTTP请求和响应，捕获HTTP内容，并将性能数据导出为HAR文件。 BMP作为独立的代理服务器运行良好，嵌入Selenium测试时尤其有用。下载地址如下 https://github.com/lightbody/browsermob-proxy 下面主要介绍Mac环境下使用Python3.6  selenium3.0  browsermob-proxy...
python browsermob-proxy 问题
Thinkcortex的博客
12-21 7979
版本：browsermob-proxy 0.8.0 使用：   from browsermobproxy import Server BROWSERMOBPROXY = "/usr/local/browsermob-proxy-2.1.4/bin/browsermob-proxy" server = Server( BROWSERMOBPROXY ) ...... (其他代码省略)...
Python 爬虫实战（二）爬取携程（国际）机票
热门推荐
blowfire123的博客
08-07 1万+
github项目：https://github.com/wzyblowfire/flightsmonitor 页面分析 首先进入携程网的国际机票网页分析，可以看出该网页是一个动态页面，也就是说单一的请求获取response是无法得到我们需要的数据的，所以我们需要用后台分析一下我们真正所需要的数据到底在哪。 当搜索从香港到曼彻斯特的航班时，从Chrome控制台Network可以看到，有个ba...
python+selenium实现自动登录
10-14
可以使用以下代码实现自动登录： ```python from selenium import webdriver # 创建浏览器对象 browser = webdriver.Chrome() # 打开登录页面 browser.get('https://example.com/login') # 输入用户名和密码 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值