一,有的网页我们使用requests请求,返回的内容没有我们要的信息,然后你会发现返回的代码跟网页源代码是一毛一样(里头根本就没有我们想要的信息),而信息都在框架源代码中(网页内的网页),这时候我们想要获取信息就换方法。
二,使用Selenium里的switch_to.frame()方法:跳转到指定的框架
from selenium import webdriver
from lxml import etree
import csv
import time
driver = webdriver.Chrome()
driver.get("https://music.163.com/#/discover/artist/signed/")
driver.switch_to.frame("g_iframe")
三,数据信息对了,但是有的网页内容通过Ajax动态加载,例如网易云音乐的入驻明星内容,要下拉滚动条加载更多的信息,要如何控制滚动条呢?
这是就要执行JS代码了
Selenium提供了执行 execute_script() 来执行JS
driver.execute_script("arguments[0].scrollIntoView();", target)
四,控制滚动条的多种方法:
# scrollBy(x,y)中,x为必须参数,表示向右滚动的像素值;y也为必须参数,表示向下滚动的像素值
driver.execute_script('window.scrollBy(0,1000)')
# scrollTo(x,y) 中,x为必须参数,表示要在窗口文档显示区左上角显示的文档的x坐标;y也为必须参数,表示要在窗口文档显示区左上角显示的文档的y坐标
driver.execute_script('window.scrollTo(0,1000)')
driver.execute_script('document.documentElement.scrollTop=10000')
# 10000表示一下拉到底
target = driver.find_element_by_id("id_keypair")
driver.execute_script("arguments[0].scrollIntoView();", target)
#拖动到可见的元素去
注意:然而这个网页要循环滚动
五,有时候需要判断元素标签是否显示
from selenium.webdriver.support import expected_conditions as EC
EC.visibility_of_element_located(element元素)
#检查某个元素是否存在于页面上可见。可见性意味着元素不仅显示,而且具有大于0的高度和宽度。定位器-用于查找元素,一旦它被定位并可见,就会返回该元素。
from selenium.webdriver.support import expected_conditions as EC
这个类有很多方法,需要翻看!