目标网站:
首先获取第一页的数据,这里关键要切换到iframe里
打印一下
获取剩下的页数,这里在点击下一页之前需要设置一个延迟,不然会报错。
结果:
一共37页,爬取完毕后关闭浏览器
完整代码:
url = 'https://music.163.com/#/discover/playlist/'
from selenium import webdriver
import time
# 创建浏览器对象
window = webdriver.Chrome('./chromedriver')
window.get(url)
time.sleep(1)
# 切换到iframe窗口
iframe = windo