爬取斗鱼弹幕数据

最新推荐文章于 2024-06-25 00:16:09 发布

原创

最新推荐文章于 2024-06-25 00:16:09 发布 · 1.1k 阅读

2 ·

CC 4.0 BY-SA版权

本文介绍如何进行斗鱼直播平台的弹幕数据爬取，包括所需的技术栈、步骤和注意事项，帮助读者掌握网络爬虫技能在实时数据获取中的应用。

测试版可用

#!/usr/bin/env python3
# _*_ coding: utf-8 _*_
# Date: 2019/12/9 0009 18:59
# Author: Mijiu
# Version: 1.0
import time
from selenium import webdriver



chrome_options = webdriver.ChromeOptions()
    # # 使用headless无界面浏览器模式
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
browser = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.douyu.com/'



def getDanmu(homeId):
    homeHref = url+str(homeId)
    browser.get(homeHref)

    while 1:
        time.sleep(2)
        try:
            for i in browser.find_elements_by_xpath('.//div[@class=" danmu-6e95c1"]/div/div'):
                if len(i.text) > 0:
                    try:
                        print(i.text)
                    except:
                        pass
                    saveDanmu(i.text)
                else: