一、项目概述
本项目利用 Python 对 Bilibili （哔哩哔哩）平台上的视频评论数据进行爬取、清洗和分析，并通过可视化展示数据的主要特征。我们通过以下几个步骤实现了这一过程：
- 数据爬取：使用 Bilibili 提供的 API 获取指定视频的评论数据。
- 数据清洗：对评论内容进行文本预处理，清除无关信息，并对 IP 地址进行地区解析。
- 数据分析：对评论内容、点赞数等信息进行统计分析，挖掘出有意义的趋势。
- 数据可视化：使用
pyecharts库生成词云图、柱状图、折线图等多种图表，展示评论的分布与趋势。
本文将详细介绍每一步的实现过程，以及如何利用 Python 工具处理和分析海量的网络评论数据。
二、数据爬取
首先，我们使用 Bilibili 提供的 API 接口来获取视频的评论数据。Bilibili 的 API 支持根据视频 ID（oid）、页码（pn）等参数获取评论信息。我们通过构造请求 URL 发送 HTTP 请求来抓取数据。
以下是爬虫代码的核心部分：
import requests
import csv
import time
import random
from tqdm import tqdm
# 设置请求头
header = {
"Cookie": "你的 Cookie 值",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
}
# 视频 ID 列表
list_id = [898762590]
# 数据爬取过程
for i in tqdm(list_id):
rows = []
for p in tqdm(range(342, 801)):
try:
html = requests.get(url, headers=header)
data = html.json()
# 提取评论数据
for reply in data['data']['replies']:
username = reply['member']['uname']
comment = reply['content']['message']
ctime = trans_date(reply['ctime'])
# 保存数据到 CSV
with open(f'bilibili_comments_{i}.csv', 'a', newline='', encoding='utf-8') as file:
writer = csv.writer(file)
if file.tell() == 0:
writer.writerow(['Username', 'Comment', 'Timestamp', 'Like Count', 'IP Location'])
writer.writerows(rows)
在此代码中，我们指定了视频的 ID 和页码范围（342 到 801），并通过循环逐页爬取评论。每一条评论数据包括用户名、评论内容、时间戳、点赞数和 IP 地址。
三、数据清洗
数据爬取完成后，我们对获取的评论数据进行清洗。主要的清洗任务包括：
- 去除无关内容：移除 URL、标点符号、特殊字符等。
- 分词与停用词过滤：使用
jieba对中文评论进行分词，并过滤掉无意义的停用词。 - IP 地址地区解析：对 IP 地址中的地理位置进行解析，将其统一成省份、市区等格式。
- 时间格式转换：将评论时间戳转换为标准的时间格式，便于后续的时间序列分析。
数据清洗的核心代码如下：
import re
import jieba
from zhon.hanzi import punctuation as zh_punctuation
def clean_text(text):
# 去除 URL 和特殊字符
text = re.sub(r'http\S+', '', text)
text = re.sub(f"[{zh_punctuation}]", "", text) # 去除中文标点
text = re.sub(r'[.,!?]', '', text) # 去除英文标点
text = re.sub(r'[^a-zA-Z0-9\u4e00-\u9fa5\s]', '', text) # 保留字母、数字和中文
text = ' '.join(text.split()) # 去除多余的空格
return text
# 停用词处理
def load_stopwords(filepath):
with open(filepath, 'r', encoding='gbk') as f:
stopwords = f.read().splitlines()
return stopwords
# 文本预处理
def preprocess_text(text, stopwords):
words = jieba.cut(text)
return [word for word in words if word not in stopwords and len(word) > 1]
df['Comment'] = df['Comment'].apply(clean_text)
stopwords = load_stopwords('./stop_word.txt')
df['Cleaned_Comment'] = df['Comment'].apply(lambda x: preprocess_text(x, stopwords))
四、数据分析与可视化
1. 准备工作
在开始之前，确保你已经安装了所需的 Python 库，并且有一个包含 Bilibili 评论数据的 CSV 文件。我们将使用以下库：
pandas：用于数据处理和分析。pyecharts：用于生成图表和大屏展示。
首先安装这些库：
pip install pandas pyecharts
2. 数据准备
假设我们已经获取到 Bilibili 的评论数据，并将其保存为 data2.csv。数据的主要字段包括：
Timestamp：评论的时间戳。Cleaned_Comment：清洗后的评论内容，存储为 Python 列表格式。Like Count：评论的点赞数。IP Location：评论者的 IP 地址（用于分析地理分布）。
数据格式如下所示：
| Timestamp | Cleaned_Comment | Like Count | IP Location |
|---|---|---|---|
| 2022-01-01 12:00:00 | [‘word1’, ‘word2’, ‘word3’] | 5 | 北京市 |
| 2022-01-01 12:05:00 | [‘word4’, ‘word5’, ‘word2’] | 10 | 上海市 |
| … | … | … | … |
3. 数据处理与分析
3.1 处理评论文本与词频分析
为了从评论中提取出有用的信息，我们将清洗后的评论文本展开，并统计每个词语的出现频率，以便生成词云和柱状图。
import pandas as pd
from collections import Counter
# 读取 CSV 文件
df = pd.read_csv('data2.csv')
# 将 Cleaned_Comment 列转换为 Python 列表
df['Cleaned_Comment'] = df['Cleaned_Comment'].apply(eval)
# 展平所有评论词语
all_words = [word for comment in df['Cleaned_Comment'] for word in comment]
# 统计词频
word_counts = Counter(all_words)
# 转换为词云输入格式
wordcloud_data = [(word, count) for word, count in word_counts.items()]
3.2 时间处理与按时间间隔统计
我们将时间戳转换为 datetime 格式，并按天或按15天的时间间隔统计评论数量和点赞数的变化。
# 转换时间戳为 datetime 格式
df['Timestamp'] = pd.to_datetime(df['Timestamp'])
# 筛选出2022年数据
df_2022 = df[(df['Timestamp'] >= '2022-01-01') & (df['Timestamp'] < '2023-01-01')]
# 按15天的时间间隔统计评论数量
comment_count_by_15days = df_2022.resample('15D', on='Timestamp').size().reset_index(name='Comment Count')
x_data_comment = comment_count_by_15days['Timestamp'].dt.strftime('%Y-%m-%d').tolist()
y_data_comment = comment_count_by_15days['Comment Count'].tolist()
# 按15天的时间间隔统计点赞数量
like_count_by_15days = df_2022.resample('15D', on='Timestamp').sum().reset_index()
x_data_like = like_count_by_15days['Timestamp'].dt.strftime('%Y-%m-%d').tolist()
y_data_like = like_count_by_15days['Like Count'].tolist()
3.3 统计 IP 地理分布
我们还可以统计评论的 IP 地址分布，了解用户的地理位置。
# 统计各省份的 IP 地址数量
province_ip_count = df['IP Location'].value_counts().reset_index()
province_ip_count.columns = ['province', 'ip_count']
4. 使用 pyecharts 创建图表
接下来，我们将使用 pyecharts 库来生成各种类型的图表，包括词云图、柱状图、折线图和地图。
4.1 生成词云图
词云图展示了评论中最常出现的词语，直观地呈现了评论内容的主要话题。
from pyecharts.charts import WordCloud
from pyecharts import options as opts
wordcloud = WordCloud(init_opts=opts.InitOpts(width="800px", height="600px"))
wordcloud.add("", wordcloud_data, word_size_range=[20, 100])
wordcloud.set_global_opts(title_opts=opts.TitleOpts(title="评论词云图"))
wordcloud.render("wordcloud.html")
4.2 生成评论和点赞量变化折线图
折线图可以帮助我们观察评论和点赞数量的时间变化趋势。
from pyecharts.charts import Line
line_comment = (
Line()
.add_xaxis(x_data_comment)
.add_yaxis("2022年评论量每15天变化", y_data_comment)
.set_global_opts(title_opts=opts.TitleOpts(title="2022年评论量变化"))
)
line_like = (
Line()
.add_xaxis(x_data_like)
.add_yaxis("2022年点赞量每15天变化", y_data_like)
.set_global_opts(title_opts=opts.TitleOpts(title="2022年点赞量变化"))
)
line_comment.render("comment_change.html")
line_like.render("like_change.html")
4.3 生成地理分布地图
我们使用地图展示 IP 地址的地理分布，了解用户的分布情况。
from pyecharts.charts import Map
map_chart = (
Map()
.add("IP 数量", [list(z) for z in zip(province_ip_count['province'], province_ip_count['ip_count'])], "china")
.set_global_opts(title_opts=opts.TitleOpts(title="IP 地址分布"))
)
map_chart.render("ip_location_map.html")
4.4 创建时间轮播图
时间轮播图可以展示不同年份和月份的评论和点赞数据。通过设置 pyecharts 中的 Timeline，可以制作动态展示的效果。
from pyecharts.charts import Timeline, Bar
timeline = Timeline()
for year in df['Year'].unique():
df_year = df[df['Year'] == year]
bar = (
Bar()
.add_xaxis(df_year['Month'].astype(str).tolist())
.add_yaxis("每月评论数", df_year['Comment Count'].tolist())
.set_global_opts(title_opts=opts.TitleOpts(title=f"{year}年每月评论数"))
)
timeline.add(bar, f"{year}年")
timeline.render("timeline.html")
5. 构建大屏展示
最后，我们将这些图表整合到一个交互式的大屏页面中。通过 pyecharts 的 Page 类，可以将多个图表组合到一个页面，生成一个动态大屏。
from pyecharts.components import Table
from pyecharts.charts import Page
# 创建表格
table = Table()
headers = ["基于 Python 的 Bilibili 评论分析大屏"]
rows = []
table.add(headers=headers, rows=rows)
# 创建页面
page = Page(layout=Page.DraggablePageLayout)
page.add(
table,
wordcloud,
line_comment,
line_like,
map_chart,
timeline
)
# 渲染大屏页面
page.render("bilibili_comment_analysis.html")
print("大屏生成完毕：bilibili_comment_analysis.html")
6. 结果展示
执行完上述代码后，你将得到一个包含以下内容的交互式大屏：
- 评论词云图：展示评论中最常见的词汇。
- 时间折线图：展示评论和点赞数的时间变化。
- 地理分布图：展示评论者的地理位置分布。
- 时间轮播图：展示不同年份和月份的评论和点赞数据。
五、总结
本项目展示了如何利用 Python 从 Bilibili 获取评论数据，经过清洗和处理后，通过多种图表形式展示数据分析结果。通过对评论内容和点赞数的分析，我们可以揭示视频的互动情况，了解用户的情感倾向与话题趋势。数据可视化部分使得这些分析结果更加直观、易懂。
对于未来的改进，我们可以进一步优化爬虫性能，增加对评论的情感分析，或者将数据存储到数据库中进行更加复杂的查询与分析。
六、参考资料
- Bilibili API文档： Bilibili Open API
pandas官方文档：https://pandas.pydata.orgjieba官方文档：https://github.com/fxsjy/jiebapyecharts官方文档：https://pyecharts.org
希望通过这篇博客，大家能对如何通过 Python 进行 Bilibili 评论数据分析和可视化有一个清晰的了解，也希望能启发大家在实际项目中应用这些技术。
扫一扫
2092
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
