Python - Selenium抓取抖音直播间评论

Python - Selenium抓取抖音直播间评论

下面介绍如何使用python中的selenium简单抓取抖音直播间实时评论。

一、创建python项目

1.在目录下新建main.py和venv虚拟环境：

创建虚拟环境：
python -m venv venv

激活虚拟环境：
cd /venv/Scripts
source activate

2.安装selenium：

在激活的虚拟环境(venv)下：
pip install selenium -i https://mirrors.aliyun.com/pypi/simple/

3.下载谷歌浏览器Chrome驱动：

新版selenium会自动下载并载入webDriver，不需要以前的手动配置加载，但每隔一段时间, selenium就会检查webDriver更新并重新下载，重新下载的过程中程序无法运行，且因为网络问题，浏览器需要较长时间才能打开，所以我们选择使用selenium中的service类手动加载webDriver避免每次重新下载webDriver更新，解决浏览器长时间未打开的问题，把下载好的chromedriver.exe放到目录下。

1.在谷歌浏览器输入，获取当前的浏览器版本
chrome://version/

2.然后再访问链接下载驱动（替换自己的浏览器版本：127.0.6533.73）
https://storage.googleapis.com/chrome-for-testing-public/127.0.6533.73/win64/chromedriver-win64.zip

3.并把chromedriver.exe放到项目目录下

二、抓取抖音直播间评论

1.在main.py文件中：

import time  # 事件库，用于硬性等待
import threading
from bs4 import BeautifulSoup
from selenium import webdriver  # 导入selenium的webdriver模块
from selenium.webdriver.chrome.service import Service

live_dy_url = 'https://live.douyin.com/xxxxxxxxx'  # 直播间链接
crawling_browser_dy = None  # 浏览器
comment_list = []  # 评论列表

# 打开直播间浏览器
def init_crawling_browser_dy(url):
    global crawling_browser_dy
    service = Service('./chromedriver.exe')
    options = webdriver.ChromeOptions()
    # 无头模式
    # options.add_argument('--headless')
    options.add_experimental_option('detach', True)
    # 忽略证书错误
    options.add_argument('--ignore-certificate-errors')
    # 忽略 Bluetooth: bluetooth_adapter_winrt.cc:1075 Getting Default Adapter failed. 错误
    options.add_experimental_option('excludeSwitches', ['enable-automation'])
    # 忽略 DevTools listening on ws://127.0.0.1... 提示
    options.add_experimental_option('excludeSwitches', ['enable-logging'])
    crawling_browser_dy = webdriver.Chrome(options=options,service=service)
    crawling_browser_dy.get('https://live.douyin.com/')  # 抖音直播主页
    crawling_browser_dy.maximize_window()  # 浏览器全屏
    time.sleep(3)  # 等待3s
    crawling_browser_dy.get(url)  # 跳转到直播间链接
    threading.Timer(10, get_comment_list, args=()).start()  # 执行：10s

# 获取html标签中的评论文本
def get_comment_list():
    global comment_list ,crawling_browser_dy
    try:
        content_dy = crawling_browser_dy.page_source
        soup_dy = BeautifulSoup(content_dy, 'html.parser')
        # 找到评论的class名称
        items_dy = soup_dy.find_all(class_='webcast-chatroom___item webcast-chatroom___enter-done')
        for item in items_dy[-5:]:  # 获取最新的5条评论 
            text = item.text.split('：')[1] if item.text.count('：') > 0 else item.text
            comment_list .append(text)
        print(comment_list)  # 打印评论列表 
        comment_list.clear()
        threading.Timer(10, get_comment_list, args=()).start()  # 重复执行：10s
    except:
        print('抖音自动化测试浏览器：未找到弹幕标签,请查看直播链接是否已结束或异常关闭')

init_crawling_browser_dy(live_dy_url)

2.运行main.py文件，获取最新的5条评论：

python main.py

到此为止，selenium获取抖音直播间实时评论就完成啦，难点在于selenium的设置和选择好评论文本的class名称，以此类推，我们还可以获取用户名称，礼物感谢等等之类的用于我们其他的处理逻辑！