python-关于爬虫爬取斗鱼直播

最新推荐文章于 2024-07-27 19:43:49 发布

Ch_zhenhua

最新推荐文章于 2024-07-27 19:43:49 发布

阅读量1.3k

点赞数

分类专栏： python webspider

本文链接：https://blog.csdn.net/Ch_zhenhua/article/details/82180084

版权

本文介绍了一个Python程序，利用selenium库爬取斗鱼直播网站上的直播标题、主播名、直播类型和封面图片链接。程序通过定位页面元素，遍历并存储每个直播间的详细信息，最后将数据写入到json文件中。

摘要由CSDN通过智能技术生成

# 利用selenium爬取斗鱼直播的标题,类型,用户,和图片链接(相对request较慢)

import json

import time
from selenium import webdriver

class Douyu(object):
    def __init__(self):
        self.url = 'https://www.douyu.com/directory/all'
        self.driver = webdriver.Chrome()
        self.file = open('douyu.json','w')

    def parse_data(self):
        # 获取页面元素列表
        node_list= self.driver.find_elements_by_xpath('//*[@id="live-list-contentbox"]/li/a')
        detail_list =[]
        for node in node_list:
            temp={}
            temp['title'] = node.find_element_by_xpath('./div/div/h3').text
            temp['owner']=node.find_element_by_xpath('./div/p/span[1]').text
            temp['type']=node.find_element_by_xpath('./div/div/span').text
            temp[&#