Selenium 处理 Farme 框架代码

最新推荐文章于 2024-08-31 15:23:20 发布

qq_21138051

最新推荐文章于 2024-08-31 15:23:20 发布

阅读量598

点赞数

文章标签： Selenium 框架 Farme iFarme

本文链接：https://blog.csdn.net/qq_21138051/article/details/83552595

版权

本文介绍使用Selenium进行网页自动化的方法，包括切换框架获取信息、控制滚动条加载更多内容及判断元素可见性，适用于动态加载网页的数据抓取。

摘要由CSDN通过智能技术生成

一，有的网页我们使用requests请求，返回的内容没有我们要的信息，然后你会发现返回的代码跟网页源代码是一毛一样（里头根本就没有我们想要的信息），而信息都在框架源代码中（网页内的网页），这时候我们想要获取信息就换方法。
二，使用Selenium里的switch_to.frame()方法：跳转到指定的框架

from selenium import webdriver
from lxml import etree
import csv
import time

driver = webdriver.Chrome()
driver.get("https://music.163.com/#/discover/artist/signed/")
driver.switch_to.frame("g_iframe")

三，数据信息对了，但是有的网页内容通过Ajax动态加载，例如网易云音乐的入驻明星内容，要下拉滚动条加载更多的信息，要如何控制滚动条呢？
这是就要执行JS代码了
Selenium提供了执行 execute_script() 来执行JS

driver.execute_script("arguments[0].scrollIntoView();", target)

四，控制滚动条的多种方法：

#  scrollBy(x,y)中，x为必须参数，表示向右滚动的像素值；y也为必须参数，表示向下滚动的像素值
driver.execute_script('window.scrollBy(0,1000)')

 # scrollTo(x,y) 中，x为必须参数，表示要在窗口文档显示区左上角显示的文档的x坐标；y也为必须参数，表示要在窗口文档显示区左上角显示的文档的y坐标
driver.execute_script('window.scrollTo(0,1000)')

driver.execute_script('document.documentElement.scrollTop=10000')
# 10000表示一下拉到底

target = driver.find_element_by_id("id_keypair")
driver.execute_script("arguments[0].scrollIntoView();", target)
 #拖动到可见的元素去

注意：然而这个网页要循环滚动

五，有时候需要判断元素标签是否显示

from selenium.webdriver.support import expected_conditions as EC
EC.visibility_of_element_located(element元素)

#检查某个元素是否存在于页面上可见。可见性意味着元素不仅显示，而且具有大于0的高度和宽度。定位器-用于查找元素，一旦它被定位并可见，就会返回该元素。

from selenium.webdriver.support import expected_conditions as EC
这个类有很多方法，需要翻看！