BiliBili系列（二）：个人历史数据爬取与分析

机智的小神仙儿

已于 2022-05-08 15:42:29 修改

阅读量3.9k

点赞数 7

文章标签：爬虫 python selenium

于 2021-08-24 23:49:13 首次发布

本文链接：https://blog.csdn.net/weixin_45956028/article/details/119899684

版权

爬虫专栏收录该内容

2 篇文章

订阅专栏

本文档详细介绍了如何使用cookie进行网站登录，爬取个人历史数据，并对数据进行清洗和分析。首先，通过模拟登录获取cookie，然后爬取用户的历史浏览记录。接着，对数据进行清洗，去除无关信息。在数据分析部分，进行了视频标签的词云展示，展示了每日浏览次数的统计，以及每日浏览视频平均点赞数的趋势。所有代码均有提供，便于读者理解和复现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

完整代码链接：查看

一、使用cookie进行登录

我们已经进行了模拟用户登录并获取了cookie，所以在爬取的时候直接使用cookie就能实现登录了。

二、个人历史数据爬取

最后数据呈现：

在这里插入图片描述

get_personal_history 针对以下页面：
在这里插入图片描述

代码链接：查看
在这里插入图片描述

三、数据清洗

代码链接：查看

四、数据分析

import pandas as pd
from wordcloud import WordCloud
import numpy as np
from PIL import Image
import matplotlib.pyplot as plt

data = pd.read_csv('personal_history/清理后的个人历史数据（非直播）.csv',

1、视频的标签分析

parse_dates=['时间'])
labels = data['标签'].sum().split(' ')
labels_dict = {}
for label in labels:
    labels_dict[label] = labels_dict.get(label, 0) + 1
background = np.array(Image.open('background.jpeg'))
word_cloud = WordCloud(
    font_path="simhei.ttf",
    width=1200,                   #词云图宽
    height=1000,                  #词云图高
    background_color='white',    #词云图背景颜色
    mask=background,
    max_words= 80,
    max_font_size= 70,
    random_state=1).fit_words(labels_dict)    
plt.figure(figsize=(8,8))
plt.imshow(word_cloud)
plt.axis('off')
plt.show()

在这里插入图片描述

2、每日浏览次数分析

plt.rcParams['font.sans-serif']=['SimHei']
plt.figure(figsize=(8,6))
data['时间'].apply(lambda x : x.date()).value_counts().plot()
plt.title('每日浏览次数统计')
plt.grid()
plt.show()

在这里插入图片描述
3、每日浏览视频平均点赞数分析

data['day'] = data['时间'].apply(lambda x : x.date())
plt.figure(figsize=(10,8))
plt.plot(data[['点赞数','day']].groupby('day').mean(), 'red', label='Average')
plt.title('每日浏览视频的平均点赞数')
plt.legend()
plt.grid()
plt.show()