【网络爬虫】使用Python披露采集Up主视频详情信息

一、问题

看到一个B站账号-祖国街景，使用行车记录仪记录中国城市，同时该账号还有youtube账号(中国街景)， 感觉视频的评论和弹幕可以用来做城市形象方面的数据分析。

但是需要有每个视频的Bvid才能采集。今天要分享的内容是如何获取某Up主的所有视频对应的Bvid等信息 。完整的爬虫撰写步骤:

1. 发现网址规律，获得批量url
2. 对某个url发起成功的访问
3. 解析该url对应的网页数据
4. 存储到csv
5. 对所有url， 重复步骤2-4

为了减少工作量， 我就简单分析下网址规律，直接上代码。

二、网址规律

要获取某Up主视频Bvid等信息，只需要获得视频列表mid值，如下图。

找网址规律的方法是打开开发者工具Network面板， 在当前网页刷新， 按照截图标号顺序点击鼠标， 得到网址规律(下方截图红3)。剔除了对结果影响不大的参数，最终得到网址规律模板 template 。

template =  'https://api.bilibili.com/x/space/wbi/arc/search?mid={mid}&ps=30&pn={page}'

三、 爬虫代码

下方代码只需要改变 Up 主 mid 值，其他地方不要改动。我设置了限速，每秒访问一次， 直接运行代码，假设Up主有 9 页， 程序大概运行 9s 左右。

import requests
import csv
import time


headers = {"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36"}
template =  'https://api.bilibili.com/x/space/wbi/arc/search?mid={mid}&ps=30&pn={page}'

#只需更改这个参数，就能爬视频列表信息
mid = '373489046'


with open('{mid}_infos.csv'.format(mid=mid), 'w', encoding='utf-8', newline='') as csvf:
    fieldnames = ['comment', 'typeid', 'play', 'pic', 'subtitle', 'description', 'copyright', 'title', 'review', 'author', 'mid', 'created', 'length', 'video_review', 'aid', 'bvid', 'hide_click', 'is_pay', 'is_union_video', 'is_steins_gate', 'is_live_playback', 'meta', 'is_avoided', 'attribute']
    writer = csv.DictWriter(csvf, fieldnames=fieldnames)
    writer.writeheader()

    url = template.format(mid=mid, page=1)
    resp = requests.get(url, headers=headers)
        
    record_num = resp.json()['data']['page']['count']
    max_page = int(record_num/30)+1


    for page in range(1, max_page+1):
        print('正在爬Up主第 {} 页'.format(page))
        url = template.format(mid=mid, page=page)
        resp = requests.get(url, headers=headers)
        vlist = resp.json()['data']['list']['vlist']
        for video in vlist:
            writer.writerow(video)
            
    time.sleep(1)

Run

    正在爬Up主第 1 页
    正在爬Up主第 2 页
    正在爬Up主第 3 页
    正在爬Up主第 4 页
    正在爬Up主第 5 页
    正在爬Up主第 6 页
    正在爬Up主第 7 页
    正在爬Up主第 8 页
    正在爬Up主第 9 页

四、导入数据

获取到Up主「祖国街景」的258个视频信息，含有的字段

comment 评论数
typeid 视频类型(猜测)
play 播放次数
pic 封面图链接
subtitle 副标题
description 视频描述
copyright 是否原创(猜测)
title 视频标题
review 评论数
author Up主昵称
mid Up主mid
created 创建时间(时间戳)
length 视频时长
video_review  是否原创(猜测)
aid 视频aid号
bvid 视频Bvid号
hide_click 未知
is_pay 是否付费
is_union_video 是否为联合制作
is_steins_gate 未知
is_live_playback 是否为直播回放
meta 视频元信息（含投币量、喜欢数、分享数）
is_avoided 未知
attribute 未知

import pandas as pd

df = pd.read_csv('373489046_infos.csv')

df.head()

#视频数量
len(df)

Run

259

#前5个内容
df['title'].tolist()[:5]

Run

['“800公里”时速（8倍速）从厦门开2000公里的车到成都是什么样的体验？',
 '重庆至上海-G50沪渝高速全程，经安庆、池州、铜陵、宣城、湖州到达上海【下】',
 '重庆至上海-G50沪渝高速全程【中】，经宜昌、荆州、武汉、鄂州、黄石',
 '重庆至上海-G50沪渝高速全程，1751公里原声原速【上】',
 '厦门至成都-横跨半个中国，G76厦蓉高速，经毕节、泸州、内江、资阳【下】']

#视频元信息（含投币量、喜欢数、分享数）
df['meta'].tolist()[:5]

Run

   ["{'id': 124822, 'title': '高速公路', 'cover': 'https://archive.biliimg.com/bfs/archive/634c1b4659e6958cba47322cca344a69f8121f34.jpg', 'mid': 373489046, 'intro': '', 'sign_state': 0, 'attribute': 140, 'stat': {'season_id': 124822, 'view': 1835970, 'danmaku': 14479, 'reply': 7495, 'favorite': 21838, 'coin': 10240, 'share': 5473, 'like': 40496, 'mtime': 1683437054, 'vt': 6497104, 'vv': 0}, 'ep_count': 38, 'first_aid': 253218067, 'ptime': 1683417600, 'ep_num': 0}",
     "{'id': 124822, 'title': '高速公路', 'cover': 'https://archive.biliimg.com/bfs/archive/634c1b4659e6958cba47322cca344a69f8121f34.jpg', 'mid': 373489046, 'intro': '', 'sign_state': 0, 'attribute': 140, 'stat': {'season_id': 124822, 'view': 1835970, 'danmaku': 14479, 'reply': 7495, 'favorite': 21838, 'coin': 10240, 'share': 5473, 'like': 40496, 'mtime': 1683437054, 'vt': 6497104, 'vv': 0}, 'ep_count': 38, 'first_aid': 253218067, 'ptime': 1683417600, 'ep_num': 0}",
     "{'id': 124822, 'title': '高速公路', 'cover': 'https://archive.biliimg.com/bfs/archive/634c1b4659e6958cba47322cca344a69f8121f34.jpg', 'mid': 373489046, 'intro': '', 'sign_state': 0, 'attribute': 140, 'stat': {'season_id': 124822, 'view': 1835970, 'danmaku': 14479, 'reply': 7495, 'favorite': 21838, 'coin': 10240, 'share': 5473, 'like': 40496, 'mtime': 1683437054, 'vt': 6497104, 'vv': 0}, 'ep_count': 38, 'first_aid': 253218067, 'ptime': 1683417600, 'ep_num': 0}",
     "{'id': 124822, 'title': '高速公路', 'cover': 'https://archive.biliimg.com/bfs/archive/634c1b4659e6958cba47322cca344a69f8121f34.jpg', 'mid': 373489046, 'intro': '', 'sign_state': 0, 'attribute': 140, 'stat': {'season_id': 124822, 'view': 1835970, 'danmaku': 14479, 'reply': 7495, 'favorite': 21838, 'coin': 10240, 'share': 5473, 'like': 40496, 'mtime': 1683437054, 'vt': 6497104, 'vv': 0}, 'ep_count': 38, 'first_aid': 253218067, 'ptime': 1683417600, 'ep_num': 0}",
     "{'id': 124822, 'title': '高速公路', 'cover': 'https://archive.biliimg.com/bfs/archive/634c1b4659e6958cba47322cca344a69f8121f34.jpg', 'mid': 373489046, 'intro': '', 'sign_state': 0, 'attribute': 140, 'stat': {'season_id': 124822, 'view': 1835970, 'danmaku': 14479, 'reply': 7495, 'favorite': 21838, 'coin': 10240, 'share': 5473, 'like': 40496, 'mtime': 1683437054, 'vt': 6497104, 'vv': 0}, 'ep_count': 38, 'first_aid': 253218067, 'ptime': 1683417600, 'ep_num': 0}"]