爬虫学习的第一天（requests简单的框架--中阶4）---＞selenium自动化测试

最新推荐文章于 2024-09-14 14:25:22 发布

「已注销」

最新推荐文章于 2024-09-14 14:25:22 发布

阅读量501

点赞数

分类专栏：爬虫文章标签：爬虫 selenium

本文链接：https://blog.csdn.net/weixin_43093322/article/details/122352206

版权

爬虫专栏收录该内容

11 篇文章 0 订阅

订阅专栏

该代码段展示了如何利用Selenium库和XPath解析器爬取虎牙直播网页上的主播房间名称、房间号及观众数量。通过不断点击下一页按钮，实现多页数据抓取，直至没有更多页面。此过程涉及网页动态加载和模拟用户行为。

摘要由CSDN通过智能技术生成

#可通过使用页面中的下一页功能进行多页面爬取
from selenium import webdriver
import time
from fake_useragent import UserAgent
from lxml import etree

chrome = webdriver.Chrome(executable_path="C:/Program Files (x86)/Google/chromedriver.exe")
chrome.maximize_window()
chrome.get("https://www.huya.com/g/lol")
chrome.implicitly_wait(10)
html = chrome.page_source

while True:
    # jhtml = etree.HTML(html)
    names = chrome.xpath('//a[@class="title"]/text()')
    rooms = chrome.xpath('//i[@class="nick"]/text()')
    counts = chrome.xpath('//i[@class="js-num"]/text()')
    # names = jhtml.find_elements_by_name("title")
    # rooms = jhtml.find_elements_by_xpath("nick")
    # counts = jhtml.find_elements_by_xpath("js-num")
    x = chrome.page_source.find('laypage_next')
    if x != -1:
        html.find_element_by_name('laypage_next').click()
    else:
        break
    print(names)
    print(rooms)
    print(counts)
chrome.quit()