selenium+requests实现网站登录下载文件

最新推荐文章于 2024-08-04 16:15:47 发布

丶L--

最新推荐文章于 2024-08-04 16:15:47 发布

阅读量925

点赞数

文章标签： selenium cookie httpwebrequest

本文链接：https://blog.csdn.net/qq_43544188/article/details/105973520

版权

本文介绍如何利用selenium模拟用户登录获取动态cookie，并结合requests利用cookie直接访问需要登录权限的下载链接，从而实现文件下载。重点在于设置正确的userAgent和使用截取到的cookie。

摘要由CSDN通过智能技术生成

一般来说，网站在登录之后的一段时间内，不关闭浏览器，cookie是缓存状态，所以利用这个特性，先用selenium模拟用户登录获取动态cookie，再用requests是直接访问网站的下载链接来实现需要账号密码的文件下载。

获得 cookie信息

这里使用PhantomJS作为浏览器驱动。

需要注意的是，在通过selenium模拟用户登录时，需要设置userAgent，不然后面的requests的headers中只有cookie 也是没有用的。

dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = ("Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0")
driver = webdriver.PhantomJS(executable_path = r".\phantomjs.exe", desired_capabilities=dcap)

selenium.元素定位（find_element_by）

# 定位登录页面用户名和密码元素并模拟填

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

丶L--

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

PYTHON爬虫+selenium+Request+Python 网络数据采集

09-29

整理了PYTHON爬虫,包括了Requests使用指南，selenium webdriver的爬虫请求的学习资料，Python写网络爬虫。

Selenium和Requests搭配使用

weixin_44388373的博客

09-20

1745

之前有提过, 用selenium控制本地浏览器, 提高拟人化,但是效率比较低,今天说一种selenium和requests搭配使用的方法。允许使用工具来检测、检查、调试和分析 Chromium、Chrome 和其他基于 Blink 的浏览器。先用selenium登录网站, 然后获取cookie, requests携带cookie访问。通过执行 CDP 命令，可以在网页加载前运行一段代码，进而改变浏览器的指纹特征。我只是摘抄了一部分, 大佬讲的更详细, 推荐各位去看看。获取到的Cookie。

参与评论您还未登录，请先登录后发表或查看评论

【selenium】文件上传、下载、读取

最新发布

linda的专栏

08-04

566

【selenium】文件上传、下载、读取

Requestium - 将Requests和Selenium合并在一起的自动化测试工具

主要分享测试的学习资源，帮助快速了解测试行业，帮助想转行、进阶、小白成长为高级测试工程师。

01-15

1334

Selenium 是一个用于 Web 应用程序的自动化测试工具。Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。本篇介绍一款将 Requests 和 Selenium 结合在一起的自动化测试工具 - Requestium

python模拟登录12306_python基于selenium模块实现自动登录12306网站

weixin_32380307的博客

01-14

460

selenium自动打开页面输入账号密码from selenium import webdriverfrom time import sleep# 实例化一个web对象driver = webdriver.Chrome(executable_path='chromedriver.exe')# 请求12306登录页面driver.get('https://kyfw.12306.cn/otn/reso...

requests下载并使用cookies

qq_22592457的博客

08-26

507

以人人网为例，要爬取人人网上某个网页信息，首先需要登录才能访问，通常最简单地做法是手动到网站上登录，然后找到cookies信息，再放到requests中去爬取html信息。如果想用CookieJar实现，可以看另一篇《CookieJar下载并使用cookies》现在换一种套路，能不能直接在爬虫中输入帐号密码，然后自动获取cookies信息再去爬取html，不要再让我自己手动去复制了？ req...

Python自动化测试实战篇（4）selenium+unttest+ddt实现自动化用例测试，模拟用户登陆点击交互测试

02-09

在本篇Python自动化测试实战中，我们将探讨如何利用selenium、unittest和ddt库来构建一个功能完善的自动化测试框架，模拟用户登录、点击等交互行为，并通过assert进行断言检查，确保测试用例的准确性和覆盖率。...

python-贝壳-selenium+requests

05-09

在本项目中，我们主要探讨如何使用Python编程语言结合`selenium`和`requests`库来抓取贝壳找房APP上的房源信息，并将其整理保存到Excel表格中。这涉及到网络爬虫技术、网页元素定位以及数据处理等多个方面。下面将...

python+selenium+chrome 下载任意url下的文件到任意路径【不用鼠标键盘】【首创】

03-17

python+js实现的用selenium下载网络文件。脚本实现了类似requests、urllib的功能，即输入url，返回文件的二进制字符串。不用依赖鼠标、键盘事件完成下载。本脚本纯粹依靠selenium Chrome实现，因此继承了Chrome的...

python+selenium+allure+pytest webUI自动化小白上路

weixin_41977978的博客

07-08

1258

web UI自动化从0到1上路

如何使用Python的Requests包实现模拟登陆

12-24

前段时间喜欢用python去抓一些页面玩，但都基本上都是用get请求一些页面，再通过正则去过滤。今天试了一下，模拟登陆个人网站。发现也比较简单。读懂本文需要对http协议和http会话有一定的理解。注明：因为模拟登陆的是我的个人网站，所以以下代码对个人网站和账号密码做了处理。网站分析爬虫的必备第一步，分析目标网站。这里使用谷歌浏览器的开发者者工具分析。通过登陆抓取，看到这样一个请求。上方部分为请求头，下面部分为请求是传的参数。由图片可以看出，页面通过表单提交了三个参数。分别为_csrf,usermane,password。其中csrf是为了预防跨域脚本伪造。原理很简单，就是每一次

Python3使用requests登录人人影视网站的方法

09-21

通过本文给大家介绍python代码实现使用requests登录网站的过程。非常具有参考价值，感兴趣的朋友一起学习吧

python+selenium+requests爬取我的博客粉丝的名称

一如既往的准备文章

03-21

1205

转载至上海-悠悠：http://www.cnblogs.com/yoyoketang/p/8610779.html 爬取目标 1.本次代码是在python2上运行通过的，python3不保证，其它python模块 selenium 2.53.6 +firefox 44BeautifulSouprequests2.爬取目标网站，我的博客：https://home.c

关于selenium和requests结合使用的一个项目案例

Peter_Luoz的博客

05-01

7886

文章目录绪论爬虫思路实践代码结语绪论很久没有做爬虫了，最近在公司做数据的时候整合某个数据时发现给的数据是从网站上进行下载的，但是领导的要求是定时从网站上下载做更新，这就需要我重新把爬虫的知识捡起来了。简单的记录一下处理的思路：要爬取的网站是需要登录的，而且内部html代码有很多的JavaScript脚本，登录授权跨越了好几个网站，想要靠requests直接找到登录链接，基本上没可能登录界面...

selenium+webdriver实现自动化登陆并评论csdn下载过的资源

pnhy

04-26

617

1，安装selenium 很简单,控制台pip install selenium即可2，下载geckodriver放在python scripts目录中3，测试是否可以正常运行 from selenium import wendriver browser=webdriver.Firefox() browser.get('https:/www.csdn...

利用Selenium自动登录CSDN实例

weixin_30267691的博客

05-06

300

Selenium是一个自动化测试工具，可以自动唤起浏览器模拟一些用户行为，具体说明可以看官网 https://www.seleniumhq.org/。本文用.net core类库通过xunit来测试Selenium自动登录CSDN，使用visual studio 2019编写。 1、创建类库，通过Nuget安装xunit、selenium 2、自行搜索gec...

Selenium用法详解【上传下载】【JAVA爬虫】

洛阳泰山的博客

01-08

532

本文主要讲解java代码如何利用selenium操作浏览器上传和下载文件代码教程。Selenium 是一种强大的浏览器控制工具，可以模拟用户在浏览器中的各种行为，并提供丰富的自动化操作和功能。通过编写代码，开发者可以控制浏览器打开网页、填写表单、点击按钮等，实现自动化操作和测试。Selenium 在网络爬虫、功能测试、界面自动化测试和数据处理等多个领域都有广泛的应用。

java版的selenium下载文件_如何使用Selenium Webdriver下载任何文件并将其保存到所需位置...

weixin_29582919的博客

03-02

1533

一种可能的解决方案是通过Selenium获取文件的URL，创建(非Selenium)连接，将Selenium的cookie复制到该连接(如果需要)，然后下载文件。大多数语言都有用于执行HTTP请求的API(或库)。例如，要在Java中完成此操作，可以使用URL.openConnection()：String link = linkElement.getAttribute("href");URL u...

基于Selenium+ requestst + 代理池 + cookies 池写一个爬虫项目详细描述

05-29

好的，下面是一个基于Selenium+requests+代理池+cookies池的爬虫项目的详细描述： 1. 首先，需要安装Selenium和requests库，并安装相应的浏览器驱动（如Chrome、Firefox等）。 2. 接着，搭建一个代理池，可以使用第三方库（如ProxyPool）或自己编写代理池程序，实现代理IP的获取和管理。 3. 在使用Selenium进行模拟登录时，需要使用浏览器获取到的cookie信息。为了避免频繁登录导致账号被封禁，可以使用cookies池，保存多个账号的cookie信息，每次登录时随机选择一个账号的cookie进行使用。 4. 使用requests库进行数据的爬取，这里可以使用代理池中的代理IP进行随机切换，以避免IP被封禁。 5. 在爬取数据时，可以使用多线程或异步编程，提高数据的获取效率。 6. 最后，需要对爬取的数据进行存储和处理，可以将数据保存到本地文件或数据库中，并进行数据清洗和分析。总之，以上是一个基于Selenium+requests+代理池+cookies池的爬虫项目的大致流程。需要注意的是，爬虫涉及到的法律法规和道德规范，需要遵守相关规定，不得进行非法或不道德的行为。