教你用Python爬取哔哩哔哩全站视频信息

最新推荐文章于 2024-03-05 01:03:19 发布

Python_sn

最新推荐文章于 2024-03-05 01:03:19 发布

阅读量1.9k

点赞数

文章标签： python 编程语言 Python爬虫网络爬虫

本文链接：https://blog.csdn.net/Python_sn/article/details/108965062

版权

本文介绍了作者使用Python3和VSCode在Windows环境下编写B站视频信息爬虫的过程，包括安装Python环境，处理403错误，获取视频数据的API，解析JSON并保存数据。但由于权限限制和稳定性问题，建议在Linux环境下运行。

摘要由CSDN通过智能技术生成

哔哩哔哩全站视频信息爬虫(可能会漏爬)

B 站感觉最近几年发展得太快了,不由得想知道有多少视频,翻阅了一大半网络找了很多爬虫感觉都不是特别的复合自己的胃口(挑食~),于是自己写一个(才学习爬虫没多久写得垃圾代码大佬别喷我啊….)

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤
QQ群：961562169

开发环境: Windows10 + Python3

工具: VSCode

准备工作

安装

Python3

安装Python这些就麻烦自己百度吧..

依赖

pip3 install -r requirements.txt

运行

python3 bili_video_get.py

代码部分

运行结果截图(

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Python_sn

关注关注

0
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

python爬取哔哩哔哩视频_python爬取哔哩哔哩小视频

weixin_29634081的博客

02-04

786

Python Spider学习笔记（一）：爬取B站视频基本信息

Smile_to_destiny的博客

09-03

6099

上面的函数都写好之后，我们只需要创建一个主入口，之后直接调用函数就可以。# 针对不同内容修改搜索关键词！！！！# 自动爬取多个主题时须注意上面的最大页数定位问题# 爬取后生成去重了的len(keywords)个f'{keyword}BV号.csv'文件# 拼接成文件名csv_to_merge = f'{keyword}BV号.csv'# 合并后生成未去重的文件merge_csv(input_filename=csv_to_merge, output_filename='BV号合并.csv')

参与评论您还未登录，请先登录后发表或查看评论

No.3 B站搜索结果链接爬取

海纳百川

07-28

2976

一、简介网址：https://search.bilibili.com 效果：链接使用框架：requests、json 难度系数：✩✩ 二、教程今天我们就要对我们的小破站下手了，嘿嘿 1. 网站分析随便搜索一个关键词，审查源代码，可以发现数据在网页源码里面都有。那么可以采取和爬取豆瓣Top250一样的思路：下载网页，提取信息。 ok，今天的教程到此结束别急别急，上面那种思路太常规了，今天我们采取一种更加高档、优雅的方法~ 回到搜索页面，谷歌浏览器使用快捷键Ctrl+Shift+I或者在网页内右

Python爬取哔哩哔哩视频的相关信息后续

闲客的博客

08-03

1249

上一篇文章通过selenium工具自动搜索爬取哔哩哔哩上面的视频相关信息，今天我们接着上一篇文章，保存视频的图片到本地。首先找到要爬取的网页数据所在的位置，如下图并且，右键点击该网址，可以选择在新标签页中打开，在新标签页中，除了显示图片不会显示其他东西。如下到这就是原本的图片数据了，如果跳转过后依然不是这样，就需要继续往下寻找到最终的图片数据地址。在昨天的基础上就添加了一个保存图片的函数，上代码。 def img_save(soup): img_url_list = soup.find(c

python scrapy 爬虫_python scrapy 爬虫初学

weixin_39867662的博客

12-07

357

环境python3.6.1scrapy安装pip3 install scrapy新建项目(比如爬豆瓣)scrapy startproject douban代码结构新建spider 爬虫主文件spider 目录 scrapy genspider douban_spider然后看看主要代码spiders目录下 douban_spider.py 文件# -*- coding: utf-8 -*-im...

如何快速爬取B站全站视频信息

Python中文社区

11-03

9870

專欄 ❈陈键冬，Python中文社区专栏作者，知乎专栏：尽瞎扯 GitHub： https://github.com/chenjiandongx ❈ B站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打

哔哩哔哩视频爬取

瑞凯

08-20

1754

今天突然想起哔哩哔哩手机上可以直接下载啊那么，我选择一个手机的UA，是否可以直接获取下载链接，就粗略试了下，因为是在电脑端模拟手机的UA，发现下载下来的是流畅视频，时间太晚了下载1080P估计也是一个思路，以后再写吧！可以凑乎看，或者有兴趣的小伙伴可以试试。也就几行代码。 import requests import re av = input('请输入哔哩哔哩的AV号：') # u...

python爬取b站所有视频_如何快速爬取B站全站视频信息

weixin_39901213的博客

12-08

2466

B 站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。勾选 JS 选项，F5 刷新找到了 api 的地址动手写码好...

基于Python的批量爬取B站小视频.zip

02-04

本资源包提供了一个使用Python语言实现的批量爬取B站（哔哩哔哩）小视频的解决方案，旨在帮助学生和研究者快速有效地获取所需数据。 Python作为一种强大的编程语言，因其简洁的语法和丰富的库支持，成为网络爬虫...

python用selenium爬取b站评论并制作词云图

weixin_44946764的博客

06-12

2290

文章目录前言一、爬取b站评论 1.selenium配置 2.代码二、制作词云图 1.下载停用词 2.代码 3.注意事项三、制作成品 1.初期成品 2.成品前言 b站视频下的评论是下拉加载的。要想爬取所有评论，要么找到加载评论的链接寻找其规律，要么下拉到低等待页面评论全部加载。我小白一个，找不出规律，用下拉这种笨办法。要是评论太多，下拉要好久，于是上网发现有selenium可以模拟浏览器的各种行为。这个不仅要导入模块，还要下载浏览器驱动...

用Python爬取bilibili全站用户信息

weixin_34127717的博客

09-05

5893

教你用Python爬取哔哩哔哩全站用户信息运行下载 git clone https://github.com/cexll/bili_user_Spider.git 复制代码运行环境 Windows/Ubuntu Python 3.6 VSCode 依赖 requests pymongo mongodb 使用本脚本请先安装好MongoDB,并且安装好库 pip install -r r...

Python爬取哔哩哔哩（bilibili）视频

chinaherolts2008的博客

12-11

7043

本篇文章主要给大家讲解下如实使用python 爬取哔哩哔哩中的视频，首先我是一名大数据开发工程师，爬虫只是我的一个业余爱好，喜欢爬虫的小伙伴可以一起交流。好了多了就不多说了喜欢的朋有可以收藏，转发请复原文链接谢谢。一、环境准备我这里使用的是环境如下仅供参考：开发工具： pycharm python环境：python-3.8.0 依赖的包： shutil，os，re，json，choice，requests，lxml 二、页面分析我在这里就拿前段时间非常火的马老师的视频来举例子吧。视频...

python爬取bilibili视频信息_python网络爬虫（爬取bilibili一位up的视频标题，评论数量等基本信息）...

weixin_39735247的博客

11-25

755

对爬虫还挺有兴趣的，但是一直没有尝试过，今天看了几篇写得非常好的博客，学到了一丢丢，自己也写了个简单的爬虫娱乐娱乐。1.分析需求需求：爬取b站up主王老菊所有视频投稿的编号，标题，播放数量以及评论数量。分析：1.先要进入b站，到这位up主的个人主页：2.按f12进入控制台f5刷新，如图所示找到需要的信息：3.图中的xhr文件就包含了我们需要的信息，挨个打开，直到找到需要的信息：4.把这个文件在浏览...

哔哩哔哩-B站视频爬取-python爬虫

最新发布

lpx666168的博客

03-05

970

本文章分析了b站的源代码并进行了音频和视频的爬取，以及调用ffmpeg将数据进行了合并。

python爬取b站_python 爬取bilibili 视频信息

weixin_39859061的博客

11-20

195

1 #-*- coding: utf-8 -*-2 #@author: Tele3 #@Time : 2019/04/08 下午 1:014 importrequests5 importjson6 importos7 importre8 importshutil9 from lxml importetree101112 #爬取每个菜单的前5页内容13 classBiliSplider:14 ...

【用python爬取B站视频（含源码）-----最适合小白的教程】

Xu_youyaxianshen的博客

05-18

5138

在 B 站看视频已经成为我们日常生活中不可或缺的一部分。很多时候我们在观看视频时，想要获取视频的相关信息，比如视频的标题、发布者、播放量等等。但是由于 B 站页面上的信息有限，很多时候需要通过爬虫来获取更全面的信息。本篇文章就将介绍如何使用 Python 爬取 B 站视频的相关信息。

python爬取bilibili视频信息_如何用Python快速爬取B站全站视频信息

weixin_39953236的博客

11-24

526

B站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。勾选 JS 选项，F5 刷新找到了 api 的地址复制下来，去除没...

python爬取网页视频

csdn_drinker的博客

11-25

1393

#coding=gbk from lxml import etree import requests from multiprocessing.dummy import Pool import random #@starttime:2021/11/25 10:21 #@endtime:2021/11/25 15:20 if __name__=='__main__': # video_down_url = [] url='https://www.pearvideo.com/' head

python 爬取哔哩哔哩视频信息

06-12

好的，下面是一些步骤： 1. 确定要爬取的视频信息，比如视频标题、播放量、点赞数等。 2. 找到哔哩哔哩的视频信息接口，比如 https://api.bilibili.com/x/web-interface/view?aid=xxxxxx，其中 aid 表示视频的编号。可以通过访问视频页面，然后在浏览器的开发者工具中查看网络请求，找到对应的接口。 3. 使用 Python 的 requests 库发送网络请求，获取视频信息。可以使用如下代码： ```python import requests url = 'https://api.bilibili.com/x/web-interface/view?aid=xxxxxx' # 替换为对应视频的编号 response = requests.get(url) data = response.json()['data'] ``` 4. 解析数据，获取所需要的信息。比如可以使用如下代码获取视频标题和播放量： ```python title = data['title'] play_count = data['stat']['view'] ``` 5. 将获取到的信息保存到文件或数据库中，以便后续使用。需要注意的是，爬取网站信息需要遵守相关规定，不要进行恶意攻击或侵犯他人隐私。