爬虫练习：采集B站up主视频信息

马龙强_

已于 2024-03-10 13:43:32 修改

阅读量1.5k

点赞数 6

文章标签： python

于 2024-01-19 23:34:18 首次发布

本文链接：https://blog.csdn.net/m0_74972727/article/details/135702436

版权

一、网页信息（示例网址：https://space.bilibili.com/3493110839511225/video）

二、查看响应数据

三、查看数据包内容

四、相关代码（代码内容未进行翻页爬取）

# @Time: 2024/1/19 16:42
# @Author: 马龙强
# @File: 采集B站up主信息.py
# @software: PyCharm
"""
网址：https://space.bilibili.com/3493110839511225/video
数据：标题、BV号、播放量、评论、弹幕。。。。
数据包：https://api.bilibili.com/x/space/wbi/arc/search
代码步骤：发送请求、获取数据、解析数据、保存数据

多页数据采集  -> 采集up所有视频信息数据
        分析链接变化规律
        url中：
            - pn    ：页码
            - dm_img_list   ：鼠标移动数据
            - w_rid     ：MD5加密参数
            - wts       ：时间戳
        发生变化

"""
import requests

import datetime     #导入时间模块
import csv
"""创建文件对象"""
f = open('视频信息.csv',mode='w',encoding='utf-8',newline='')

"""
:.*
，
"""
csv_writer = csv.DictWriter(f,fieldnames=[
    '标题',
    '播放量',
    '评论',
    '弹幕',
    '时长',
    'bv号',
    '日期',
    '上传时间',
    
])
csv_writer.writeheader()

#模拟浏览器
headers = {

    "Cookie": "buvid3=94A5BDE1-CDDC-12C9-0FD4-3305DE8DCE8D76087infoc; b_nut=1699609476; i-wanna-go-back=-1; b_ut=7; _uuid=39D4B639-9B3B-D881-3D23-3998B94CC4C677381infoc; enable_web_push=DISABLE; buvid4=EFEE2640-75A3-B07D-5AFC-09D951D5581877370-023111017-YCb7ryWqJw+YFnyAAbCP2w%3D%3D; home_feed_column=5; browser_resolution=1536-746; buvid_fp=25ba4d2dc2d9aa5a126e6089b07107f2; CURRENT_FNVAL=4048; rpdid=|(J~umJRk|Yl0J'uYmmY|mR)); header_theme_version=CLOSE; sid=4hrgjlgl; PVID=1; b_lsid=45510CAB2_18D20E83DF5; bili_ticket=eyJhbGciOiJIUzI1NiIsImtpZCI6InMwMyIsInR5cCI6IkpXVCJ9.eyJleHAiOjE3MDU5MTMzMDcsImlhdCI6MTcwNTY1NDA0NywicGx0IjotMX0.IYXXtNtqUAEUWNSZrLv_iFUYwmYj-ml3PrjnDLtk_Q4; bili_ticket_expires=1705913247",
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0"
}
#请求网址
"""
请求网址较长进行分段写：
    问号前面：链接地址
    问号后面：查询参数（请求参数）
批量替换方法：
    （1）选择需要被替换的内容，ctrl+R
    （2）勾选 .*
    （3）使用正则替换命令
     (.*?):(.*)
     "$1":"$2",


"""

url = 'https://api.bilibili.com/x/space/wbi/arc/search?mid=3493110839511225&ps=30&tid=0&pn=1&keyword=&order=pubdate&platform=web&web_location=1550101&order_avoided=true&dm_img_list=[%7B%22x%22:1761,%22y%22:324,%22z%22:0,%22timestamp%22:84,%22type%22:0%7D,%7B%22x%22:1609,%22y%22:444,%22z%22:44,%22timestamp%22:197,%22type%22:0%7D,%7B%22x%22:1635,%22y%22:483,%22z%22:100,%22timestamp%22:341,%22type%22:0%7D,%7B%22x%22:1678,%22y%22:618,%22z%22:74,%22timestamp%22:445,%22type%22:0%7D]&dm_img_str=V2ViR0wgMS4wIChPcGVuR0wgRVMgMi4wIENocm9taXVtKQ&dm_cover_img_str=QU5HTEUgKEludGVsLCBJbnRlbChSKSBVSEQgR3JhcGhpY3MgRGlyZWN0M0QxMSB2c181XzAgcHNfNV8wLCBEM0QxMSlHb29nbGUgSW5jLiAoSW50ZW&w_rid=c7ac0e5f775a43c5784ae18cdb074efb&wts=1705737812'

#发送请求
response = requests.get(url=url,headers=headers)
"""获取数据：获取服务器返回响应数据
- response.text     文本
- response.json()       json
- response.content      获取相应二进制数据
保存数据：图片、音频、视频、特定格式文件

"""
#解析数据

# print(response.text)        #字符串
# print(response.json())      #字典
"""
键值对取值：根据冒号左边的内容[键]，提取冒号右边的内容[值]
dit = {'A':'a','B':{'B1':'b'},'C':{'C1':[{'C2':'c2'}]}}
提取b -> dit['B']['B1']
提取c2 -> dit[][]
"""

json_data = response.json()
info_list = json_data['data']['list']['vlist']
#for循环遍历
for index in info_list:
    #上传时间戳
    # data_time = index['created']
    data_time = str(datetime.datetime.fromtimestamp(index['created']))
    date = data_time.split(' ')[0]  #日期
    up_time = data_time.split(' ')[1]    #上传时间

    """提取具体数据内容"""
    dit = {
        '标题':index['title'],
        '播放量':index['play'],
        '评论':index['comment'],
        '弹幕':index['video_review'],
        '时长':index['length'],
        'bv号':index['bvid'],
        '日期':date,
        '上传时间':up_time
    }
    #写入数据
    csv_writer.writerow(dit)
    print(dit)