使用selenium爬取斗鱼直播数据

最新推荐文章于 2024-08-03 20:32:40 发布

软件测试进阶中

最新推荐文章于 2024-08-03 20:32:40 发布

阅读量1.1k

点赞数 2

分类专栏： python 爬虫文章标签： python爬虫 selenium xpath

本文链接：https://blog.csdn.net/hard_days/article/details/84643756

版权

本文介绍如何运用selenium库抓取斗鱼直播首页数据。通过模拟浏览器跳转，定位到目标页面，然后使用xpath表达式提取所需信息，对数据进行分析并保存。

摘要由CSDN通过智能技术生成

分析斗鱼直播首页https://www.douyu.com/directory/all
使用selenium来实现跳转页面，定位到跳转页面位置。
拿到页面后通过xpath提取想要的数据进行分析。
保存数据

# -*- coding:utf-8 -*-
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
from lxml import etree
import csv


#把浏览器设为无头模式
chrome_option = Options()
chrome_option.add_argument('-headless')
browser =  webdriver.Chrome(chrome_options=chrome_option)


def get_next_page(n):
    '''获取下一页页面'''
    # 1.找到下一页的标签,点击进行跳转
    browser.find_element_by_class_name('jumptxt').send_keys(n)
    brows