Selenium和Requests搭配使用

已于 2024-03-12 10:49:42 修改
阅读量1.5k 收藏 10
点赞数 2
文章标签： selenium python 测试工具
于 2023-09-20 16:53:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44388373/article/details/133080171
版权

Selenium和Requests搭配使用

前要

之前有提过, 用selenium控制本地浏览器, 提高拟人化,但是效率比较低,今天说一种selenium和requests搭配使用的方法
注意: 一定要先了解怎么远程控制浏览器,之后再按照这个来

selenium控制本地浏览器(二选一)
https://blog.csdn.net/weixin_44388373/article/details/121989842
https://blog.csdn.net/weixin_45081575/article/details/112621581

1. CDP

CDP 全称为 Chrome Devtools-Protocol

通过执行 CDP 命令，可以在网页加载前运行一段代码，进而改变浏览器的指纹特征
允许使用工具来检测、检查、调试和分析 Chromium、Chrome 和其他基于 Blink 的浏览器。

2. 通过requests控制浏览器

看这里!!!
这里值得注意是安装 websocket 模块，要按照这以下顺序

  1. pip install webscoket
  2. pip install websocket-client
# 之前的代码启动浏览器,selenium调用没问题
# 调用方式1
"C:\Program Files\Google\Chrome\Application\chrome.exe"  --remote-debugging-port=9222 --user-data-dir="随便找个空文件夹路径"

# 调用方式2
start chrome --remote-debugging-port=9222 --user-data-dir="C:\Users\1\Desktop\chrome"

# 代码调用
import os
os.popen('start chrome --remote-debugging-port=9222 --user-data-dir="C:\Users\1\Desktop\chrome"')

# 但是如果让requests调用会出错(无权限,禁止调用)
# 需要在语句中加入 --remote-allow-origins=* 
import os
os.popen('start chrome --remote-debugging-port=9222 --remote-allow-origins=* --user-data-dir="C:\Users\1\Desktop\chrome"')

2. 1 代码一

这里用的是 小菜欸 大佬的文章: 【Selenium】Python & Selenium 执行 CDP
我只是摘抄了一部分, 大佬讲的更详细, 推荐各位去看看

# 这里插入代码片
# -*- coding: utf-8 -*-
# @Time   : 2022-08-27 12:00
# @Name   : py_cdp.py

import json
import requests
import websocket


def websocket_conn():
    # websocket_conn 连接浏览器
    resp = requests.get('http://127.0.0.1:9222/json')  # 有不懂的看上一篇文章
    assert resp.status_code == 200
    ws_url = resp.json()[0].get('webSocketDebuggerUrl')
    return websocket.create_connection(ws_url)


def execute_cdp(conn: websocket, command: dict):
    # 执行  dp
    conn.send(json.dumps(command))
    # 接受websocket的响应，并将字符串转换为 dict()
    return json.loads(conn.recv())


def main():
    conn = websocket_conn()
    # js = "alert('hello world')" # 弹窗 hello world
    # js = "console.log('hello world')" # 控制台打印 hello world
    js = "location.href='https://www.bilibili.com'"  # 页面跳转
    command = {
        'method': 'Runtime.evaluate',  # 处理 传进去的 expression
        'id': int(1),	# id需要传一个整型，否则会报错,可以随便填一个数字
        'params': {'expression': js}   # 要执行的js语句
    }
    resp = execute_cdp(conn, command)
    print(resp)


if __name__ == '__main__':
    main()

运行效果看下面动图，js代码中指定页面跳转到 B站。
在这里插入图片描述

2. 2 代码2

这里用的是 合天网安实验室 的文章: 利用远程调试获取Chromium内核浏览器Cookie
这个也只摘抄了一部分, 推荐各位去看看
代码可以获取本地浏览器所有Cookie, 包括保存到本地的Cookie信息

import json
import requests
import websocket
# 添加以后发送如下数据包就可以成功获取Cookie
GET_ALL_COOKIES_REQUEST = json.dumps({"id": 1, "method": "Storage.getCookies"})


def hit_that_secret_json_path_like_its_1997():
    response = requests.get("http://127.0.0.1:9222/json")
    websocket_url = response.json()[0].get("webSocketDebuggerUrl")
    return websocket_url


def gimme_those_cookies(ws_url):
    ws = websocket.create_connection(ws_url)
    ws.send(GET_ALL_COOKIES_REQUEST)
    result = ws.recv()
    ws.close()
    response = json.loads(result)
    print(response)
    cookies = response["result"]["cookies"]
    return cookies


def to_cookie_dict(data):
	# name：cookie的名称 必须有
	# value：cookie对应的值，动态生成的, 必须有
	# domain：服务器域名
	# expiry：Cookie有效终止日期
	# path：Path属性定义了Web服务器上哪些路径下的页面可获取服务器设置的Cookie
	# httpOnly：防脚本攻击
	# secure:在Cookie中标记该变量，表明只有当浏览器和Web Server之间的通信协议为加密认证协议时# 
	# {'domain': '.gonggaotong.net', 'httpOnly': False, 'name': 'Hm_lpvt_5aed315e6cf23667dff3f1224c5dcb60', 'path': '/', 'secure': False, 'value': '1642657344'}
	
	# 筛选cookie
    if 'bilibili.com' in data['domain']:
        cookie_dict = {data['name']: data['value'], 'Domain': data['domain'], 'Path': data['path'], 'Expires': data['expires']}
        print(cookie_dict)
        return cookie_dict


ws_url = hit_that_secret_json_path_like_its_1997()
print(ws_url)
data_list = gimme_those_cookies(ws_url)
print(data_list)

cookie_dict_list = [to_cookie_dict(data) for data in data_list]
# 遍历多个cookie字典，将每个字典中的key和value格式化为key=value的字符串
cookie_str_list = []
for cookie_dict in cookie_dict_list:
    if cookie_dict:
        for k, v in cookie_dict.items():
            cookie_str_list.append('{}={}'.format(k, v))

# 使用;将多个key=value字符串连接在一起
cookie_str = ';'.join(cookie_str_list)
print(cookie_str)

获取到的Cookie
在这里插入图片描述

3. 通过selenium获取cookie, requests携带cookie请求

先用selenium登录网站, 然后获取cookie, requests携带cookie访问

import json
import os
from selenium.webdriver import Chrome
import requests
import websocket
from selenium.webdriver.chrome.options import Options

GET_ALL_COOKIES_REQUEST = json.dumps({"id": 1, "method": "Storage.getCookies"})


def open_chrome():
    try:
        requests.get('http://127.0.0.1:9222/json')  # 有不懂的看上一篇文章
    except:
        os.popen(
            r'start chrome --remote-debugging-port=9222 --remote-allow-origins=* --user-data-dir="C:\Users\v_chewqiao\Desktop\chrome"')
    chrome_options = Options()
    chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
    driver = Chrome(options=chrome_options)
    return driver


def hit_that_secret_json_path_like_its_1997():
    response = requests.get("http://127.0.0.1:9222/json")
    websocket_url = response.json()[0].get("webSocketDebuggerUrl")
    return websocket_url


def gimme_those_cookies(ws_url):
    ws = websocket.create_connection(ws_url)
    ws.send(GET_ALL_COOKIES_REQUEST)
    result = ws.recv()
    ws.close()
    response = json.loads(result)
    cookies = response["result"]["cookies"]
    return cookies


def to_cookie_dict(data_list):
    cookie_dict = {}
    for data in data_list:
        # 根据域名确定网站cookie
        if 'czce.com' in data['domain']:
            cookie_dict[data['name']] = data['value']
    return cookie_dict


def update_cookie(cookie_dict):
    cookie = ''
    for key, value in cookie_dict.items():
        cookie = cookie + "{}={}; ".format(key, value)
    return cookie


def return_cookie():
    driver = open_chrome()
    driver.delete_all_cookies()
    # driver.execute_script("window.open('http://www.czce.com.cn/','_self');")
    # time.sleep(3)
    ws_url = hit_that_secret_json_path_like_its_1997()
    data_list = gimme_those_cookies(ws_url)
    cookie_dict = to_cookie_dict(data_list)
    # cookie 转为字符串
    cookie = update_cookie(cookie_dict)
    # 或者cookie直接写入session
    # session.cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)
    return cookie


if __name__ == '__main__':
    return_cookie()

结果如下:
在这里插入图片描述

~喬~
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
全程干货，requests模块与selenium框架详解
Python学习Q群696455390
06-06 3954
　　　　　　　　　　　　requests模块 前言： 通常我们利用Python写一些WEB程序、webAPI部署在服务端，让客户端request，我们作为服务器端response数据； 但也可以反主为客利用Python的requests模块模拟浏览器行为，向其他站点发送request，让其他站点response数据给我们； 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如...
PYTHON爬虫+selenium+Request+Python 网络数据采集
09-29
整理了PYTHON爬虫,包括了Requests使用指南，selenium webdriver的爬虫请求的学习资料，Python写网络爬虫。
requests和selenium
qq_56630261的博客
10-30 3073
requests与selenium对比requests1，获取响应头，进行UA伪装：2，获取网页的整个页面数据xpath解析selenium1，安装浏览器驱动2，selenium代码的编写（模拟登录QQ空间）3，解析第一条说说 requests requests是一个python的第三方库，用来做爬虫项目等，以我小白的理解，我觉得它比scrapy简单不少。 接下来，让我们对它来个简单的使用吧，以QQ空间为例。 1，获取响应头，进行UA伪装： 我们只需要打开网页，然后按下F12，便会获得以下界面： 按下CT
网络爬虫中selenium和requests这两个工具有什么区别呢？
最新发布
weixin_49816293的博客
06-22 976
在自动化和网络爬虫的开发过程中，Selenium和Requests是两个常用的工具。尽管它们都可以用于从互联网上获取数据，但它们在用途、功能和工作原理上存在显著的差异。以下将详细探讨Selenium和Requests之间的主要区别。
这个Python库把Requests和Selenium按在地上摩擦
CSDN_224022的博客
04-07 917
Requestium是一个很实用的工具，它能够将Requests和Selenium相结合，为开发者提供高效的解决方案。使用Requestium可以简化操作流程、提高开发效率，并且具有广泛的应用场景和丰富的特点和功能。如果你需要这方面的工具，那么Requestium是值得一试的！学习资源推荐除了上述分享，学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
selenium自动获取cookies用于requests做接口请求爬虫
zkkkkkkkkkkkkk的博客
03-27 2488
selenium可以用来模拟用户操作的python第三方包，而requests则是用来做接口请求。两者一结合，可能在某些方面优于单个包的爬虫。在requests请求时，我们都知道requests是需要headers信息。所以自动获取cookies等headers里关键信息就至关重要，而selenium因为是打开一个浏览器模拟用户操作的特性，使它能够获取到它自己打开的页面cookies。我们使用这个cookies传入requests，然后再使用requests做爬虫即可。 ​
selenium+requests 实现网页跳转登录及爬取
qq_22649229的博客
09-20 3782
通过selenium模拟登录，获取cookies，传递给requests，以绕过加密登录及页面跳转。通过第三方识别验证码，借助requests向服务器发送请求，实现“瞬间预约”。
python爬虫学习-requests模块和selenium模块
GW_Krystal的博客
10-07 1418
一、request模块 概念： python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。 作用：模拟浏览器发请求。 如何使用（request模块的编码流程）： 指定url 发起请求 获取响应数据 持久化存储 环境安装： pip Install requests 实战编码： 爬取搜狗首页的页面数据 import requests if __name__ == "__main__": # step 1: 指定url url = "https://www.sogou
自动化测试 —— requests和selenium模块！_selenium和request
2401_84302761的博客
04-16 433
不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！现在我也找了很多测试的朋友，做了一个分享技术的交流群，共享了很多我们收集的技术文档和视频教程。而且还有很多在自动化，性能，安全，测试开发等等方面有一定建树的技术大牛。如果你不想再体验自学时找不到资源，没人解答问题，坚持几天便放弃的感受。# 上一次跳转的地址。# 用来驱动浏览器的。# # 1、访问百度。# # 获取标签对象。# 用来驱动浏览器的。
python-贝壳-selenium+requests
05-09
在本项目中，我们主要探讨如何使用Python编程语言结合`selenium`和`requests`库来抓取贝壳找房APP上的房源信息，并将其整理保存到Excel表格中。这涉及到网络爬虫技术、网页元素定位以及数据处理等多个方面。下面将...
python使用selenium爬虫知乎的方法示例
12-16
这里以Chrome为例，你需要下载与你系统和Chrome版本匹配的ChromeDriver，并将其添加到环境变量中，以便Selenium能够找到并使用它。 接下来，我们可以编写Python代码来启动Chrome浏览器并访问知乎问题页面。以下是一...
selenium
03-28
Selenium 是一个强大的 Web 自动化测试框架，广泛用于模拟用户与网页的交互，进行功能...尽管如此，Selenium 仍然是 Web 自动化测试领域不可或缺的工具，尤其在配合其他库和工具时，可以实现高效、全面的测试解决方案。
百度API文字识别配合selenium自动登录
01-21
使用selenium需要下载chromedriver 网址: http://npm.taobao.org/mirrors/chromedriver/ 下载跟自己浏览器版本号最接近的版本. https://cloud.baidu.com/ 百度开发平台. ...
爬虫笔记(3）-selenium和requests
zxq997997的博客
06-08 184
爬虫笔记
Python Selenium与Requests session会话互相同步
zichehanTZ的博客
11-14 4268
一：背景 最近有朋友问，如何将selenium的session会话同步给requests，因此写一下selenium与request session会话互相同步。 二：Selenium同步到requests import requests from selenium import webdriver webapi = webdriver.Chrome() webapi.implicitly_wait(10) #全局等待10s webapi.get('https://book.douban..
python 爬虫 简单爬虫教程(requests + selenium )
热门推荐
weixin_39986534的博客
10-22 1万+
最近改了实验室之前的爬虫，感觉有些生疏了，故此记录一下， 我将会通过抓取网站 https://nonfungible.com/ 来进行讲解。 requests + Chrome 浏览器 使用Chrome 对目标网站信息进行解析 首先 打开使用chrome 浏览器打开目标网页，按下 f12 键打开开发者界面。点击Network 选项。开始前可以点击清除图表清理一下请求信息。 然后，点击下一页图表，你会发现下面出现了一大堆请求信息。 然后，将你想要在网页上爬取的信息复制，在下面的请求信息的Response
selenium加requests（携带cookies）自动化安全教育平台管理
hq606的博客
04-03 423
先看效果。代码我已经详细做了注释。代码放在最后。 上面是selenium获取的cookies.下面是自动查询未完成的学生名单。 下面是显示，post方法查看请求头和cookies，cookies我是手动复制后放到代码里面，尤其第二页要用post的方式请求 #此代码需要班主任的安全教育平台密码账户登录才可以运行 #没有账户的朋友。可以学习一下思路 from selenium import webdriver import time from selenium.webdriver.chrome.servi
requests+selenium获取cookies
weixin_41927456的博客
03-02 1209
目的：对于一些网页的cookies值变化的，用selenium模拟浏览器拿到cookies，再用requests发送请求拿到数据。 通过一个小代码展示一下： 目标：拿到黑龙江省采购网中标信息。 思路： 1.构造URL，selenium拿到cookies，发送post请求。 2.拿到每一个中标项目的URL，发送get请求，拿到数据。 3.保存数据。 具体代码如下： import requests f...
自动化测试： Selenium 自动登录授权，再 Requests 请求内容
GoCoding
05-31 1774
Selenium 自动登录网站、截图及 Requests 抓取登录后的网页内容。一起了解下吧。 Selenium: 支持 Web 浏览器自动化的一系列工具和库的综合项目。 Requests: 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。 为什么选择 Selenium 实现自动登录？ Selenium 实现，相当于模拟用户手动打开浏览器、进行登录的过程。 相比直接 HTTP 请求登录，有几个好处： 避免登录窗口的复杂情况（iframe, ajax 等），省得分析细节。 用 S
scrapy框架配合selenium使用
04-07
Scrapy框架可以与Selenium配合使用，以处理JavaScript渲染的动态网页。以下是使用Scrapy和Selenium的一般步骤： 1. 安装Selenium和WebDriver Selenium是一个自动化测试工具，可以模拟人类在浏览器中的操作。WebDriver是Selenium的一个子项目，它是一个在浏览器中执行命令的接口。因此，我们需要安装Selenium和适用于我们所选浏览器的WebDriver。 2. 配置Scrapy 我们需要在Scrapy的配置文件中添加一些设置，以便将Selenium与Scrapy集成。这可以通过在settings.py文件中添加以下设置来实现： ``` DOWNLOADER_MIDDLEWARES = { 'scrapy_selenium.SeleniumMiddleware': 800 } SELENIUM_DRIVER_NAME = 'chrome' SELENIUM_DRIVER_EXECUTABLE_PATH = 'path/to/chromedriver' SELENIUM_DRIVER_ARGUMENTS = [] ``` 3. 编写Spider 编写Scrapy Spider与使用Selenium的常规Spider没有太大不同。但是，我们需要确保在Spider中调用Selenium，以便Scrapy可以处理从动态网页中提取的数据。以下是一个简单的Spider示例： ``` from scrapy import Spider from scrapy.selector import Selector from scrapy_selenium import SeleniumRequest class MySpider(Spider): name = 'myspider' start_urls = ['http://example.com'] def start_requests(self): for url in self.start_urls: yield SeleniumRequest(url=url, callback=self.parse) def parse(self, response): sel = Selector(response) # 在此处提取数据 ``` SeleniumRequest是一个特殊的请求对象，它将请求发送到Selenium，并在加载页面后返回响应。在这个Spider中，我们使用SeleniumRequest来获取动态网页的源代码，并使用XPath表达式从中提取数据。 4. 运行Spider 最后，我们需要运行Scrapy Spider以获取数据。我们可以使用以下命令运行Spider： ``` scrapy crawl myspider ``` 这将启动Scrapy，并开始爬取网站。Scrapy将自动处理动态网页，并将提取的数据保存到数据存储中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值