python 用selenium获取动态数据

wgy343

已于 2022-10-11 09:11:19 修改

阅读量248

点赞数

分类专栏： python 文章标签： python chrome 开发语言

于 2022-10-11 09:08:33 首次发布

本文链接：https://blog.csdn.net/wgy343/article/details/127256207

版权

以某讯视频中的电影片库为例尝试selenium和BeautifulSoup结合获取动态数据。
红线画到的数字会发生变化，内容也同时发生变化。在这里插入图片描述
网页必须通过滑动页面的方式才能加载数据，没有下一页等加载方式。滑动页面时style的两个属性也会不断地发生变化。不过通过观察每次加载385px后数据会更新。使用selenium加载数据，通过执行js以固定的高度滑动窗口，等待数据加载后再用BeautifulSoup获取数据。

from selenium import webdriver
from bs4 import BeautifulSoup
import time,csv
csv_file=open('腾讯电影库.csv','w',

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wgy343

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
python 用selenium获取动态数据

以某讯视频中的电影片库为例尝试selenium和BeautifulSoup结合获取动态数据。
复制链接

扫一扫

专栏目录

动态获取style

qq_45031347的博客

02-28

209

:style="{background:`url(${businessBlock.mpic}) no-repeat`}"

java+selenium 如何获取style属性

maoliyong的博客

10-12

2232

如图上图，在自动化测试时，selenium要获取具体属性时会有很多限制而且不友好，此时通常只能曲线救国，通过js的方式来获取： String jsStr = "return document.getElementById(\"test_tag\").style.getPropertyValue('grid-auto-flow')"; Object o = ((JavascriptExecutor) driver).executeScript(jsStr); 具体...

参与评论您还未登录，请先登录后发表或查看评论

selenium自动化-获取元素的属性

小王子的花的博客

07-28

3683

# coding:utf-8 from selenium import webdriver import time driver = webdriver.Chrome() driver.implicitly_wait(10) driver.get("http://www.baidu.com") time.sleep(2) title = driver.title print(title) tex...

python selenium取标签的属性值注意参数

qq_41555580的博客

06-24

839

airtest_selenium

select标签 style设置

White feathe 的博客

03-14

3520

如下图所示我要所说的效果：未改变前可以通过css来改变，从而达到如下效果图，代码附上：通过CSS来改变vertical-align:middle; -webkit-appearance: none; -moz-appearance: none; appearance: none;demo附上：<!DOCTYPE html> <html> <head> <meta name="v

python selenium 获取接口数据的实现

01-21

python selenium 获取接口数据。 selenium没有直接提供查询的函数，但是可以通过webdriver提供的API查询，使用的函数是Network.getResponseBody webdriver提供的API文档：...

selenium + python 获取table数据的示例讲解

09-20

在本文中，我们将深入探讨如何使用Selenium与Python结合来获取HTML表格（table）中的数据。Selenium是一个强大的Web自动化测试工具，它允许我们模拟用户交互，并通过编程方式控制浏览器行为。当我们需要从网页抓取...

Python Selenium自动化获取页面信息的方法

09-16

以上就是使用Python Selenium库获取页面信息的基本方法。在实际应用中，这些技术可以用于自动化测试、数据抓取等多种场景。通过结合其他Selenium功能，如元素定位、交互操作等，可以实现更复杂的网页自动化任务。...

Python Selenium 获取动态网页指定元素的超链接.pdf

05-08

在使用Selenium获取动态网页指定元素的超链接时，我们首先需要对Python有基本的了解。Python是一种多用途的编程语言，具有解释性、编译性、交互性和面向对象的特点。它适合编写各种规模的项目，从简单的脚本到复杂的...

selenium4-获取页面元素相关信息

m0_70618214的博客

06-13

1873

现在，越来越多的公司和企业开始将业务转移到线上平台。而对于网站或者应用的测试、开发人员来说，获取页面元素相关信息是解决很多问题的关键之一。如果您正为此而苦恼，那么恭喜您，因为这篇文章将会为您揭秘Selenium4获取页面元素相关信息的技巧和方法！无论您是初学者还是专业人士，我都将为您提供详尽的指导和实战案例。让Selenium4帮助您更加轻松地获取页面信息，跟随我的脚步，掌握这些技能吧！

Python网页抓取- python selenium使用方法和代码示例

weixin_45512098的博客

03-01

935

python selenium使用方法和代码示例

:style中颜色使用函数动态获取赋值

jieweiwujie的博客

07-26

781

:style中颜色使用函数动态获取赋值

selenium+python3 web自动化获取html页面元素属性值方法

qq_27031029的博客

02-02

6761

马上过年了，公司的产品停止了开发，测试组最近组织了web自动化的学习工作。博主本身是个小白，在学习中，不断遇到比较棘手的问题，以后会把所有遇到的问题在这这里和大家共同分享下，希望我所遇到的坑可以让你避免再次跳进去，而是可以轻松的越过它。通过写自动化的小程序，逐渐培养自己的兴趣，终成大神。例如下面这个html栗子：页面未激活的时候 style="display: block;"

获取style里元素的值

qq_33398790的博客

05-31

3259

char* styleVal="position:absolute;left:111;top:0;height:315;width:1760;";CString strVal(styleVal);CString Ele(_T("left:"));int n=QueryValOfStyleEle(strVal,Ele);int QueryValOfStyleEle(CString &src,...

selenium 获取属性

张帅的博客

09-17

8132

正常获取一个a标签的href，可以通过xpath//a/@href但是在selenium中finf_*只能找到元素，所以我们需要get_attrivute(),例：driver.find_element_by_xpath("//div[@id='J_section_0']/a").get_attribute("href")

selenium_webdriver(python)获取元素属性值，浏览器窗口控制、网页前进后退，title/url打印

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交