如何用Python抓取抖音评论：轻松抓出百万点赞的秘密！

机器懒得学习

已于 2024-08-18 11:05:31 修改

阅读量1.3k

点赞数 10

文章标签： python 开发语言

于 2024-08-18 01:16:30 首次发布

本文链接：https://blog.csdn.net/qq_36224726/article/details/141289869

版权

项目背景

你是不是也曾好奇，为什么某些抖音视频的评论区简直像个百花齐放的“吐槽大会”？如果你想知道那些神评论的背后到底藏着什么样的“神秘力量”，那么今天你算是来对地方了！在这篇文章中，我们将用Python手把手教你如何自动化抓取抖音视频的评论数据，然后优雅地存入数据库。别担心，这过程就像看抖音一样简单又有趣——除了不需要手动点赞外，我们几乎都替你安排好了！准备好了吗？让我们一起揭开抖音评论区的神秘面纱吧！

项目目标

自动化登录抖音并获取视频的Cookie：使用Selenium模拟登录，保存会话信息以便后续操作。
解析并提取视频中的评论：通过滚动页面加载更多评论，解析并提取每条评论的详细信息。
数据存储与处理：将抓取的数据保存到MySQL数据库中，便于后续的分析和处理。

环境设置

首先，你需要准备好开发环境。本文的代码在Windows系统上运行，以下是你需要安装的Python库：

pip install selenium
pip install beautifulsoup4
pip install mysql-connector-python
pip install openpyxl

同时，你需要安装Chrome浏览器和对应版本的ChromeDriver。

步骤一：登录抖音并保存Cookie

from selenium import webdriver
import pickle
import time

def save_cookies():
    driver = webdriver.Chrome()

    # 最大化浏览器窗口
    driver.maximize_window()

    # 打开抖音网站
    driver.get('https://www.douyin.com/')

    # 等待用户手动登录
    time.sleep(1)
    input("登入抖音账号后，请输入任意键继续...")
    time.sleep(0.3)

    # 保存Cookie到文件
    with open("douyin_cookie.pickle", 'wb') as file:
        pickle.dump(driver.get_cookies(), file)

    driver.quit()

save_cookies()

这个函数使用Selenium打开抖音网站，等待用户手动登录后，将会话Cookie保存到本地文件中。后续操作中，我们可以加载这些Cookie以跳过登录步骤。

步骤二：获取视频评论数据

获取视频评论是本项目的核心部分。首先，我们需要加载页面并滚动，以便加载更多的评论内容。

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from bs4 import BeautifulSoup

def get_html_from_url(driver, url, scroll_len, delay):
    driver.get(url)

    # 等待评论区加载
    WebDriverWait(driver, 20).until(
        EC.presence_of_all_elements_located((By.CLASS_NAME, "ofo4bP_8"))
    )

    # 通过模拟滚动来加载更多评论
    scroll_page(driver, times=20, scroll_len=scroll_len, delay=delay)

    # 获取页面源代码
    html = driver.page_source
    return html

在获取页面内容后，我们需要使用BeautifulSoup来解析HTML，并提取所需的评论信息。

步骤三：数据存储

抓取到的数据需要一个结构化的存储方式。这里我们使用MySQL数据库来保存这些数据。每条评论会存储评论内容、用户信息、评论点赞数以及其他相关数据。

import mysql.connector

def insert_comments_to_db(comments, table_name):
    connection = mysql.connector.connect(
        host='localhost',
        user='root',
        password='your_password',
        database='douyin_comment'
    )
    cursor = connection.cursor()

    insert_query = f"""
        INSERT INTO {table_name} (region, comment_time, comment, video_url, user_url, user_name, user_img, comment_star_num, data_time)
        VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s)
    """

    for comment in comments:
        try:
            cursor.execute(insert_query, (
                comment["地区"],
                comment["评论时间"],
                comment["评论"],
                comment["视频地址"],
                comment["用户主页地址"],
                comment["用户名"],
                comment["用户头像"],
                comment["评论点赞数"],
                comment["当前时间"]
            ))
        except mysql.connector.IntegrityError:
            print(f"数据已存在，跳过插入：{comment['用户名']} - {comment['评论']}")

    connection.commit()
    cursor.close()

此函数将评论数据批量插入到MySQL数据库中，方便后续的查询和分析。

步骤四：综合运行

最后，我们将前面的各个功能整合到一个主函数中，顺序执行并保存最终的数据。

def main():
    # 初始化并登录抖音
    driver = webdriver.Chrome()
    driver.get('https://www.douyin.com/')
    
    # 加载保存的Cookies
    for cookie in load_cookies():
        driver.add_cookie(cookie)
    
    # 遍历视频链接，抓取数据
    for url_info in extract_copyurl_info(your_copy_url_string):
        html = get_html_from_url(driver, url_info['url'], -1080, 2)
        comments = extract_comments(html, url_info['url'], ...)
        insert_comments_to_db(comments, 'comments')
    
    driver.quit()

if __name__ == "__main__":
    main()