B站UP视频按频道下载、按分类下载、收藏夹下载、一键全部下载

于 2024-09-03 11:39:40 发布
阅读量40 收藏
点赞数 1
分类专栏： Python 文章标签： 爬虫 B站 视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29922685/article/details/141857310
版权

参数说明：

  1. up_id：要下载的UP主id（从UP主主页浏览器地址获取）

  2. UA ：Uaer-agent（F12获取）

  3. cookie：自己的B在cookie（登录后F12获取）

  4. path：下载视频的存放地址

import json
import os
import sys
import requests
import you_get

def you_get_down(url,path):
    sys.argv = ['you-get','-l','--no-caption', '-o', path, url]
    you_get.main()

class Channel_down:
    dict_bvID = {}
    list_cid = []
    def __init__(self, UA ,up_id, path = '/.'):
        self.up_id = up_id
        self.UA = UA
        self.path = path

        self.get_cid(self.UA, self.up_id)
        for i in self.list_cid:
            self.get_bvID(self.UA, self.up_id, i)

        # 把获取BV号存入本地磁盘，下次就不用重新爬获
        with open(path+'Channel_BVid.json', 'w', encoding='utf-8') as fp:
            json.dump(self.dict_bvID, fp=fp, ensure_ascii=False)

        # 从本地json文件读取BV号
        # with open(path+'Channel_BVid.json', 'r', encoding='utf-8') as fp:
        #     self.dict_bvID = json.load(fp)

        # 用you-get下载
        # 选择一个频道
        Channel_name = input('\n选择一个分类或all\n').strip().split()
        while (not (set(Channel_name) <= set(self.dict_bvID.keys())) and Channel_name!='all'):
            Channel_name = input('\n选择一个分类或all\n').strip().split()
        for key, value in self.dict_bvID.items():
            # 选择一个频道
            if key in set(Channel_name) or Channel_name == 'all':
                print(key, value)
                num = 1
                for i in value:
                    # if i['title']=='2020年Python爬虫全套课程（学完可做项目）':
                    try:
                        print('第' + str(num) + '/' + str(len(value)) + '个视频：' + i['title'])
                        you_url = 'https://www.bilibili.com/video/' + i['bvid']
                        # 视频输出的位置
                        path = self.path + key
                        you_get_down(you_url, path)
                        num += 1
                    except Exception as e:
                        print('异常：',e)
                        num += 1

        # print(self.list_cid)
        # print(self.dict_bvID)
        # {'ASMR 掏耳、捂耳朵、按摩': [{'title': '梵天采耳掏耳，竟能“舒服”的脑壳都麻了！200%舒爽体验！中间多倍高能！', 'bvid': 'BV1v7411H7zo


    def get_cid(self, UA, up_id):
        #global list_cid
        header = {
            'user-agent': UA,
        }
        param = {
            'mid': up_id,
            'guest': 'false',
            'jsonp': 'jsonp',
            # 'callback': '__jp3'
        }
        url = 'https://api.bilibili.com/x/space/channel/list?'
        response = requests.get(url=url, headers=header, params=param)
        dict_ = response.json()['data']
        list_ = response.json()['data']['list']
        for i in list_:
            d = {}
            d['cid'] = i['cid']
            d['name'] = i['name']
            d['count'] = i['count']
            self.list_cid.append(d)
        # print(dict_)
        # print(self.list_cid)

    def get_bvID(self, UA, up_id, cid_i):
        #global dict_bvID

        pn = 0
        pn+=cid_i['count']//30
        if cid_i['count']%30!=0:
            pn+=1
        cid = cid_i['cid']
        list_bvID = []
        url = 'https://api.bilibili.com/x/space/channel/video?'
        header = {
            'user-agent': UA,
        }
        for n in range(1,pn+1):

            param = {
                'mid': up_id,
                'cid': cid,
                'pn': str(n),
                'ps': '30',
                'order': '0',
                'jsonp': 'jsonp',
                # 'callback': '__jp3'
            }

            response = requests.get(url=url, headers=header, params=param)
            list_ = response.json()['data']['list']['archives']
            for i in list_:
                d = {}
                d['title'] = i['title']
                d['bvid'] = i['bvid']
                list_bvID.append(d)
        self.dict_bvID[cid_i['name']] = list_bvID
        print(cid_i['name'], len(list_bvID))
        # print(cid_i)
        # print(len(list_bvID))
        # print('\n')

class Classify_down:
    dict_bvID = {}
    dict_tid = {}

    def __init__(self, UA, up_id, path = './'):

        self.up_id = up_id
        self.tid = '0'
        self.UA = UA
        self.path = path

        if self.dict_tid == {}:
            self.get_dict_bvID(self.up_id, self.tid)
        print(self.dict_tid)
        for k, v in self.dict_tid.items():
            list_bv = self.get_dict_bvID(self.up_id, k, int(v['count']))
            print(self.dict_tid[k]['name'],len(list_bv))
            self.dict_bvID[self.dict_tid[k]['name']] = list_bv


        # 把获取BV号存入本地磁盘，下次就不用重新爬获
        with open(path+'Classify_BVid.json', 'w', encoding='utf-8') as fp:
            json.dump(self.dict_bvID, fp=fp, ensure_ascii=False)

        # 从本地json文件读取BV号
        # with open(path+'Classify_BVid.json', 'r', encoding='utf-8') as fp:
        #     self.dict_bvID = json.load(fp)

        # 用you-get下载
        # 选择一个分类
        Classify_name = input('\n选择n个分类或all\n').strip().split()
        while(not (set(Classify_name) <= set(self.dict_bvID.keys())) and Classify_name!='all' ):
            Classify_name = input('\n选择n个分类或all\n').strip().split()
        for key, value in self.dict_bvID.items():
            # 选择一个分类
            if key in set(Classify_name) or Classify_name == 'all':
                print(key, value)
                num = 1
                for i in value:
                    # if i['title']=='2020年Python爬虫全套课程（学完可做项目）':
                    try:
                        print('第' + str(num) + '/' + str(len(value)) + '个视频：' + i['title'])
                        you_url = 'https://www.bilibili.com/video/' + i['bvid']
                        # 视频输出的位置
                        path = self.path + key
                        you_get_down(you_url, path)
                        num += 1
                    except Exception as e:
                        print('异常：',e)
                        num += 1

    def get_dict_bvID(self, up_id, tid, count = 30):

        pn = 0
        pn+=count//30
        if count%30!=0:
            pn+=1
        list_bv = []
        header = {
            'user-agent':self.UA
        }
        for i in range(1,pn+1):
            #pubdate click stow
            param = {
                'mid': up_id,
                'ps': '30',
                'tid': tid,
                'pn': str(i),
                'keyword':'',
                'order': 'click',
                'jsonp': 'jsonp',
            }
            url = 'https://api.bilibili.com/x/space/arc/search?'
            response = requests.get(url=url, headers=header, params=param)
            dict_ = response.json()
            self.dict_tid = dict_['data']['list']['tlist']
            vlist_ = dict_['data']['list']['vlist']
            for i in vlist_:
                d = {}
                d['title'] = i['title']
                d['bvid'] = i['bvid']
                list_bv.append(d)

        return list_bv


class Favorite_down:
    dict_name = {}
    list_name = []
    dict_BV = {}
    def __init__(self, UA, up_id,cookie, path = './'):
        self.UA = UA
        self.cookie = cookie
        self.up_mid = up_id
        self.path = path

        # 获取所有收藏夹
            # 获取TA的创建
        self.get_favorite_lsit(self.up_mid)
            # 获取TA的收藏
        self.get_favorite_collected(self.up_mid)

        # 获取所有收藏夹中视频的BV号
        for kv in self.dict_name['list']:
            kv_key = kv.keys()
            # 选择公开且存在的收藏夹，23为私密收藏夹，1为已删除
            # 如果是下载自己的收藏夹，则可以删除筛选条件kv['attr'] == 22 and
            if ('state' not in kv_key or kv['state'] == 0):
                media_id, media_count = str(kv['id']), kv['media_count']
                print(kv['title'], end=':')
                self.dict_BV[kv['title']] = self.get_favorite_BV(media_id, media_count)
                self.list_name.append({kv['title']: len(self.dict_BV[kv['title']])})

        with open(path+'收藏夹名称&视频数量.txt', 'w', encoding='utf-8') as fp:
            for i in self.list_name:
                json.dump(i, fp=fp, ensure_ascii=False)
                fp.write('\n')

        # 把获取BV号存入本地磁盘，下次就不用重新爬获
        with open(path+'Favorite_BVid.json', 'w', encoding='utf-8') as fp:
            json.dump(self.dict_BV, fp=fp, ensure_ascii=False)

        # 从本地json文件读取BV号
        # with open(path+'Favorite_BVid.json', 'r', encoding='utf-8') as fp:
        #     self.dict_BV = json.load(fp)

        # 用you-get下载
        # 选择一个收藏夹
        Favorite_name = input('\n选择n个收藏夹或all\n').strip().split()
        while(not (set(Favorite_name) <= set(self.dict_BV.keys())) and Favorite_name!='all'):
            Favorite_name = input('\n选择n个收藏夹或all\n').strip().split()
        for key, value in self.dict_BV.items():
            # 选择一个收藏夹
            if key in set(Favorite_name) or Favorite_name == 'all':
                print(self.dict_BV[key])
                num = 1
                for i in value:
                    # if i['title']=='2020年Python爬虫全套课程（学完可做项目）':
                    try:
                        print('第' + str(num) + '/' + str(len(value)) + '个视频：' + i['title'])
                        you_url = 'https://www.bilibili.com/video/' + i['bv_id']
                        # 视频输出的位置
                        path = self.path + key
                        you_get_down(you_url, path)
                        num += 1
                    except Exception as e:
                        print('异常：', e)
                        num += 1

    def get_favorite_lsit(self,up_mid):
        url = 'https://api.bilibili.com/x/v3/fav/folder/created/list-all?'
        param = {
            'up_mid': up_mid,
            'jsonp': 'jsonp'
        }

        header = {
            'user-agent': self.UA,
            'cookie': self.cookie
        }
        response = requests.get(url=url, params=param, headers=header)

        dict_ = response.json()
        self.dict_name['count'] = dict_['data']['count']
        self.dict_name['list'] = dict_['data']['list']
        print('TA的创建',self.dict_name)

    def get_favorite_collected(self,up_mid):
        pn = 1
        url = 'https://api.bilibili.com/x/v3/fav/folder/collected/list?'
        param = {
            'up_mid': up_mid,
            'jsonp': 'jsonp',
            'pn': '1',
            'ps': '20'
        }

        header = {
            'user-agent': self.UA,
            'cookie':self.cookie
        }
        response = requests.get(url=url, params=param, headers=header)

        dict_ = response.json()
        self.dict_name['count'] += dict_['data']['count']
        self.dict_name['list'].extend(dict_['data']['list'])
        if dict_['data']['count'] > 20:
            pn = dict_['data']['count'] // 20
            if dict_['data']['count'] % 20 != 0:
                pn += 1
        for i in range(2, pn + 1):
            param = {
                'up_mid': up_mid,
                'jsonp': 'jsonp',
                'pn': str(i),
                'ps': '20'
            }
            response = requests.get(url=url, params=param, headers=header)

            dict_ = response.json()
            self.dict_name['list'].extend(dict_['data']['list'])
        print('TA的收藏',self.dict_name)

    def get_favorite_BV(self,media_id, media_count):
        list_BV = []
        url = 'https://api.bilibili.com/x/v3/fav/resource/list?'
        n = media_count // 20
        if media_count % 20 != 0:
            n += 1
        for i in range(1, n + 1):
            param = {
                'media_id': media_id,
                'pn': str(i),
                'ps': '20',
                'keyword': '',
                'order': 'mtime',
                'type': '0',
                'tid': '0',
                'jsonp': 'jsonp',
            }

            header = {
                'user-agent': self.UA,
                'cookie': self.cookie
            }

            response = requests.get(headers=header, params=param, url=url)

            dict_js = response.json()
            for i in dict_js['data']['medias']:
                # 跳过已失效视频
                if i['title'] != '已失效视频':
                    d = {}
                    d['upper'] = i['upper']
                    d['bv_id'] = i['bv_id']
                    d['title'] = i['title']
                    list_BV.append(d)

        print(len(list_BV))
        return list_BV

class All_down:
    list_bvID = []

    def __init__(self, UA, up_id , path = './'):
        self.biz_id = ''
        self.up_id = up_id
        self.UA = UA
        self.path = path

        self.get_list_bvID(self.UA, self.up_id, self.biz_id)
        self.list_bvID = list(filter(None, self.list_bvID))
        with open(path+'All_BVid.json', 'w', encoding='utf-8') as fp:
            json.dump(self.list_bvID, fp=fp, ensure_ascii=False)

        # 从本地json文件读取BV号
        # with open(path+'All_BVid.json', 'r', encoding='utf-8') as fp:
        #     self.list_bvID = json.load(fp)

        # 下载
        l = len(self.list_bvID)
        num = 1
        for i in self.list_bvID:
            # if i['title']=='':
            try:
                print('第%s/%s个视频：%s' % (str(num), str(l), i['title']))
                you_url = 'https://www.bilibili.com/video/' + i['bv_id']
                # 视频输出的位置
                path = self.path
                you_get_down(you_url, path)
                num += 1
            except Exception as e:
                print('异常：', e)
                num += 1


    def get_list_bvID(self, UA, up_id, biz_id):

        header = {
            'user-agent':UA
        }
        param = {
            'type':'1',
            'biz_id':up_id,
            'bvid':biz_id,
            'mobi_app':'web',
            'ps':'100',
            'direction':'false',
        }
        url = 'https://api.bilibili.com/x/v2/medialist/resource/list?'
        response = requests.get(url=url, headers=header, params=param)
        for i in response.json()['data']['media_list']:
            self.list_bvID.append({'title':i['title'],'bv_id':i['bv_id']})

        if len(self.list_bvID)%100 == 0:
            biz_id = self.list_bvID.pop()['bv_id']
            self.list_bvID.append(None)
            self.get_list_bvID(UA, up_id, biz_id)

if __name__ == '__main__':

    up_id = ''
    UA = ''
    cookie = ''
    path = ''

    # 创建的目录
    if not os.path.exists(path):
        os.makedirs(path)
    # a = Channel_down(UA, up_id, path)         #按频道下载
    # b = Favorite_down(UA,up_id,cookie,path)   #下载收藏夹
    # c = All_down(UA, up_id, path)             #下载所有
    d = Classify_down(UA, up_id, path)        #按分类下载
拿泥more
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
开源、低成本的 Xilinx FPGA 下载器（高速30MHz）
whik1194的博客
02-12 1万+
板子做回来之后，需要烧录指定的固件，它才能被识别为Xilinx下载器，所需的固件和软件等全套资料在文末获取。今天分享一款低成本、开源的Xilinx下载器方案，和JTAG-HS一样，基于FT2232方案。JTAG-HS系列最大支持30MHz下载速度，基于FTDI的FT2232方案。实在懒得自己画板子，也可以TB直接买通用的FT2232板子，然后更新固件即可。目前主流的Xilinx下载器主要有两种：一种是Xilinx官方出品的。，包括AD版本的原理图和PCB，FT2232固件烧录工具和固件程序。
研究B站个人收藏中已失效的视频
Enderman_xiaohei的博客
08-11 2万+
相关链接： 研究B站已失效的视频 目录 1. 前言说明 2. 获取和研究网页源代码 3. 获取和研究 JSON 文件 4. 其他途径的尝试 5. 心得总结 一、前言说明 ↶ 前言部分： 最近打开自己的收藏夹，发现部分视频已经变成了已失效状态，o(╥﹏╥)o 。 但是，就算不给播放视频，至少把视频的标题放上去，连失效的视频是什么都没办法了解。近几天的收藏还记得住，可是时间一长都不知道自己收藏...
web工具收藏夹
生活在别处
04-14 1554
工具类 办公软件 云端软件库，在网页上提供Office、XMind、PPT、Excel、Word、AuthCAD、MATLAB、Photoshop等等各种大型软件。 百度脑图 在线思维导图 幕布 结合了大纲笔记和思维导图的头脑管理工具 石墨文档 可多人实时协作的云端Office，在线编辑文档，表格等；可以媲美 Google Doc；
【COM编程】如何往IE工具条添加按钮
小田的专栏
04-17 7778
问题提出： 金山词霸、网络蚂蚁等软件安装后会向IE的工具条添加自己的按钮。按下按钮后还会作出相应的动作，这种功能是如何实现的呢？读完本文，您也可以将自己应用程序的按钮添加到IE的工具条中。 基本原理： 从IE5开始便允许我们向工具栏添加自己的按钮，其本质就是修改注册表，添加创建此按钮所需的信息。 实现步骤： 1.创建此按钮的GUID(globally unique identifie
android安卓源码海量项目合集打包-1
热门推荐
chenhao0568的专栏
06-11 13万+
下载地址 最后更新共计113个分类5177套源码29.2 GB。 卷 新加卷 的文件夹 PATH 列表 卷序列号为 00000200 5E7A:7F30 F:. ├─前台界面 │ ├─3D标签云卡片热门 │ │ Android TagCloudView云标签的灵活运用.rar │ │ Android 实现 标签 拖动 改变位置.rar │ │ android 流式布局和热门标签.zip │ │ ...
比较全的机油教程（android）
zxf20063033的专栏
07-26 1万+
“G”“E”“H”“T”信号完美解释 移动用户： 　　手机的网络图标有这三种：“G，E，H 　　G：全称：gprs既传输速率理论的峰值为114Kbps，这是早其的无线网络传输方式。 　　E：全称：EDGE既传输速率在峰值可以达到384kbps，现在比较主流的无线网络传输方式。 　　T：全称：TD-SCDMA技术目前处于起步阶段，现在版本分为R4/R5/R6/R7。R7的理论值可以达到
【爬虫】爬取B站UP的所有视频细节信息（通过UP名字）
YancyKahn
10-10 7898
爬取B站UP主的所有视频信息 1. 前言 使用python来爬取B站UP的视频信息，在此之前需要安装一下模块 pip3 install selenium pip3 install bs4 selenium是一个操作浏览器的Python库，需要安装相应的浏览器驱动。请自行安装。 本文实现了一个可以通过输入B站某个UP主的名字来进行爬取视频信息。 2. 爬取信息的数据结构 爬取的信息存储到JSON中，为以下组织方式： { 'name': XXX // 视频名称 'author': XXX //
使用you-get批量下载B站视频
u010378992的专栏
03-29 2万+
准备工作 Step1：安装you-get； 方法，见 you-get中文说明。 Step2：找到要下载视频的源URL； 方法：点开视频网页，F12打开开发者调试工具，在查看器下找到<head> 标签，找到类似如下语句： <meta data-vue-meta="true" itemprop="url" content="https://www.bilibili.c...
libcurl--下载文件并实现进度条
一蓑烟雨任平生 也无风雨也无晴
10-23 1万+
昨天使用了windows api实现了下载文件以及显示下载进度：Windows客户端开发–URLDownloadToFile下载文件进度条今天就来说一使用libcurl实现http下载，并实现进度条。简单介绍libcurl: 官网： https://curl.haxx.se/ libcurl主要功能就是用不同的协议连接和沟通不同的服务器~也就是相当封装了的sockPHP 支持libcurl（允
Java爬虫开发：Jsoup库在图片URL提取中的实战应用
最新发布
Z_suger7的博客
09-02 849
Jsoup是一个用于解析HTML文档的Java库，它提供了非常便捷的API来提取和操作数据。Jsoup能够处理任意的无格式HTML文档，并且可以从中提取数据，操作元素，或者输出修改后的HTML。Jsoup的解析器非常宽容，能够处理各种糟糕的HTML代码。
数据爬虫工作中的IP清理频率
KookeeyLena3的博客
08-30 443
基于以上因素，一般来说，如果你正在进行高频率的数据抓取，建议每天至少更换一次IP地址。总之，数据爬虫工作中的IP清理频率并不是一成不变的，它需要根据实际情况进行灵活调整。为了确保数据抓取的顺利进行，爬虫工作者需要密切关注目标网站的反爬虫策略，并据此制定合理的IP管理和清理计划。这并没有一个固定的答案，因为它取决于多个因素，如目标网站的反爬虫策略、爬虫的请求频率、使用的代理IP质量等。此外，除了定期更换IP外，还有一些其他的策略可以降低被封禁的风险，如设置合理的请求间隔、模拟用户行为、使用多个用户代理等。
Colly官方文档入门教程
学海无涯
08-30 987
Colly 的设计非常模块化，通过 Collector 组件管理请求和响应，通过中间件和事件处理器进行灵活的定制。这种设计使得 Colly 成为一个高效且易于扩展的网络爬虫框架。
图表操作——图表保存为图片+多个图表批量保存为压缩包——js技能提升
yehaocheng520的博客
08-30 835
图表操作——图表保存为图片+多个图表批量保存为压缩包——js技能提升
爬取长篇小说：选择何种IP策略最佳？
KookeeyLena5的博客
08-29 442
在爬取长篇小说时，选择合适的IP策略至关重要。根据目标网站的反爬虫机制、请求频率限制以及爬取需求的不同，可以选择静态IP、动态IP、住宅IP或数据中心IP等不同类型的IP地址。同时，使用代理服务器或VPN等工具可以进一步提高爬取的稳定性和效率。在爬取过程中，应遵循最佳实践，确保爬取行为的合法性和稳定性。
反爬虫策略收录集
weixin_45866698的博客
08-28 1318
分享一些常见的反爬虫策略
【Python】简单的爬虫抓取
bfz_50的博客
08-31 1892
由于网站使用的都是明文，所以抓起来没什么难度，且平时访问量小，很值得用来练习。效果：抓取某个学校网站的教授名录，并获取研究方向。代码如下，解释请见注释。
做数据爬虫工作：是否需要准备单独的IP库和爬虫库？
KookeeyLena3的博客
08-29 521
在进行数据爬虫工作时，准备单独的IP库和爬虫库是确保高效、稳定且合法采集数据的关键。IP库可以帮助绕过反爬虫机制、提高爬取效率并增强安全性；而爬虫库则可以提高开发效率、降低技术门槛并应对复杂网站结构。通过合理准备和使用这些工具库，爬虫工程师可以更加高效地完成数据采集任务。
爬虫使用代理IP返回405：原因及解决方法
IPIPGO的博客
08-30 1147
HTTP状态码405表示“Method Not Allowed”，即请求的方法（GET、POST、PUT、DELETE等）不被目标服务器允许。例如，你尝试用POST方法访问一个只允许GET请求的页面，服务器就会返回405错误。爬虫使用代理IP返回405错误通常是由于请求方法错误、代理服务器配置问题、目标服务器的反爬虫机制或请求头信息不完整导致的。通过检查并修改请求方法、确保代理服务器配置正确、增加请求头信息以及模拟正常用户行为，可以有效解决这一问题。希望本文对你有所帮助，让你在进行网络爬虫时更加顺利。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值