# 导入包
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
import re
# 打开浏览器
driver = webdriver.Chrome()
# 浏览器最大化
driver.maximize_window()
# 打开一个网页
driver.get("https://music.163.com/#/song?id=18161816")
#找到嵌入网页
driver.switch_to.frame(0)
#让它充分加载
driver.implicitly_wait(10)
driver.execute_script('document.documentElement.scrollTop = document.documentElement.scrollHeight')
#翻到第二页的时候不需要再重复执行“进入嵌套页面”、"隐形等待"、"拖动到底部"这些操作,因为默认每次刷新后的页面都是先执行这些操作,执行这些操作的目的是为了使html信息完全加载出来,后面的循环内容只是爬取这些数据
for page in range(10):
#定位元素(标签)css\xpath
divs = driver.find_elements(By.CSS_SELECTOR, '.itm')
# divs = driver.find_elements(By.XPATH,'//*[@id="175237271651033652637"]')
for div in divs:
contents=div.find_element(By.CSS_SELECTOR,'.cnt.f-brk').text
# print(contents)
content
【爬虫实战】selenium 网易云评论+词云图
最新推荐文章于 2024-03-14 13:11:30 发布