bsite库 | 采集B站视频信息、评论数据

最新推荐文章于 2024-09-18 21:55:52 发布
最新推荐文章于 2024-09-18 21:55:52 发布
阅读量3.3k 收藏 30
点赞数 10
文章标签： python 数据挖掘 编程语言 html 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38008864/article/details/109127163
版权

腾讯课堂 | Python网络爬虫与文本数据分析 

一、简介

bsite是用于采集B站用户视频列表页、视频评论数据的python包。

二、安装

pip install bsite

三、使用方法

3.1 初始化Bsite类

登录B站后，使用开发者工具获取自己浏览器上的的cookies。获取方法可以参考 京东评论实战视频

from bsite import Bsite

cookies = {"cookie": "登录B站后的cookies"}
bs = Bsite(cookies=cookies)

3.2 bvid与aid转换

B站的视频链接

https://www.bilibili.com/video/BV1AE411r7ph

其中 BV1AE411r7ph 是该视频的 bvid号， 但在B站后台有一个与bvid对应的id号- aid

bvid与aid可以互相转化，Bsite内置了两个转化方法

  • Bsite.aid2bvid(aid)

  • Bsite.bvid2aid(bvid)

例如将BV1AE411r7ph转为aid

bs.bvid2aid(bvid="BV1AE411r7ph")

72010301

同理将 72010301 转为 bvid

bs.aid2bvid(aid=72010301)

BV1AE411r7ph

3.3 下载某用户所有视频信息

Bsite.video_list(mid, csvfpath) 获取用户的所有已上传的视频信息。例如我的B站视频主页https://space.bilibili.com/122592901  其中122592901就是mid

  • mid 用户的id

  • csvfpath csv文件路径，用于存储视频信息。

注意：为了保证所有数据均能正常存储不出错，强制使用utf-8编码，微软office打开该csv会乱码，可以用记事本或者WPS打开

一般在B站查看某用户【投稿】栏，可以看到ta的所有上传视频。Bsite可以帮我们得到的信息有

  • title、subtitle、author 标题、副标题、作者

  • aid、bvid 视频链接的id号

  • mid 用户的id。

  • created 上传时间

  • description 视频简介

  • pic 视频首图

  • play 播放次数

  • length 视频时长

例如我的B站视频主页https://space.bilibili.com/122592901  其中122592901就是mid

获取DJI大疆创新 https://space.bilibili.com/232472043/video 所有投稿视频相关信息。

bs.video_list(mid=232472043, csvfpath='dji_videos.csv')

3.4 获取某视频内的所有评论

Bsite.comments(aid, csvfpath)

  • aid  B站视频的id号，如果只有bvid没有aid，可以先使用内置的方法把bvid转为aid

  • csvfpath csv文件路径，用于存储评论数据。

注意：为了保证所有数据均能正常存储不出错，强制使用utf-8编码，微软office打开该csv会乱码，可以用记事本或者WPS打开

采集到的评论数据包括

  • content  评论内容

  • device 评论者使用的设备

  • like 点赞数

  • rcount 该评论追评和互动数

  • ctime 评论创建时间

  • avatar 评论者头像

  • level 评论者等级

  • sex 评论者性别

  • sign 评论者签名

  • uname 评论者昵称

  • mid 评论者的id

  • diag 该评论是原始评论，还是某评论的互动

获取该视频 https://www.bilibili.com/video/BV1E54y1C7MF 所有的评论

aid = bs.bvid2aid('BV1E54y1C7MF')
bs.comments(aid=aid, csvfpath='comments.csv')

课程试听

课程python语法入门和网络爬虫部分可免费试听，对python感兴趣的童鞋可以收藏观看~

试听二维码

优惠券领取

本课程原价298元，现有朋友圈集赞活动，集赞满10+可得118元优惠券。参与方式

  1. 转发本文至朋友圈，集赞10+

  2. 扫码加维信，备注【网课优惠券】

  3. 集赞截图私信，立得118元优惠券

  4. 购买后好评20+字，截图返现18.88元~

学习方式

  1. 电脑端学习，浏览器百度搜【腾讯课堂】，微信扫码登录账号，即可观看学习

  2. 手机端学习，安装【腾讯课堂app】，微信扫码登录账号，即可观看学习

邓旭东HIT
关注
Python实战项目2：b站评论采集
lyccomcn的博客
04-04 2579
本文不对数据采集的过程做探讨，直接上代码。
基于Python爬虫技术爬取B站视频信息：播放量、评论数与视频详情分析
最新发布
2201_76125261的博客
01-02 438
通过本篇文章，我们使用了Python爬虫技术，从B站爬取了视频的基本信息、评论数据，并进行了数据清洗、处理和情感分析。爬虫技术在数据采集方面具有广泛的应用场景，可以帮助我们获取各种平台的数据，并结合数据分析技术进行深度挖掘。在未来，随着技术的不断发展，我们可以更精细化地优化爬虫策略，提升数据采集的效率和准确性，为实际决策提供更有价值的支持。
B站评论采集
Deng872347348的博客
05-12 2558
B站评论采集。
3行Python代码采集B站（弹幕、评论、用户）数据
Python学习Q群696455390
08-06 1421
今天介绍一个获取B站数据的Python扩展库-bilibili_api 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：101677771 可以获取的数据包括： video-视频模块 user-用户模块 dynamic-动态模块 这次用“Running Man”十周年特辑的
基于Python的B站（哔哩哔哩）视频评论采集，可破解反爬手段，想爬几条爬几条
weixin_49081159的博客
01-15 1900
定义主函数main()，从CSV文件中读取Bilibili视频信息，循环遍历视频列表并调用parse_comment_f()函数来获取评论数据，并将解析后的评论数据保存为CSV文件。''' 返回父评论json \n bv: 全bv号 \n nests: json页码 \n mode: 1楼层,2时间,3热门 '''定义函数parse_comment_f(bv)用于解析父评论的JSON数据，并调用parse_comment_r()函数解析子评论。定义函数Bta(bv)用于将BV号转化为av号。
Python库 | w3bsite-3.4.5.tar.gz
03-11
因此，我们可以推测w3bsite库可能提供了一系列与网站交互的函数和类，比如发送GET和POST请求，解析响应数据，甚至可能支持网页爬虫的构建。 Python库的安装通常涉及解压`.tar.gz`文件，然后使用`setup.py`脚本进行...
Python库 | w3bsite-0.5.6.tar.gz
03-11
《Python库w3bsite-0.5.6详解》 在Python编程中，库是开发者的重要工具，它们提供了丰富的功能，让程序员能够高效地完成各种任务。本文将深入探讨一个名为`w3bsite`的Python库，特别是其版本0.5.6。`w3bsite`是一个...
Python库 | w3bsite-4.13.7.tar.gz
03-13
再者，w3bsite库提供了对常见数据库的接口，如MySQL、SQLite和PostgreSQL，使得开发者可以方便地存储和检索数据。它还支持ORM（对象关系映射），使得数据库操作更接近于面向对象的编程方式，降低了学习曲线。 此外...
Python库 | w3bsite-4.37.6.tar.gz
03-13
**Python库w3bsite-4.37.6详解** Python是一种高级编程语言，以其简洁、易读的语法和强大的库支持而闻名。在Python的世界里，库是开发者的重要工具，它们提供了各种功能，帮助程序员高效地完成任务。本文将详细介绍...
Python库 | w3bsite-3.4.8.tar.gz
05-24
资源分类：Python库 所属语言：Python 资源全名：w3bsite-3.4.8.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
2024最新用python抓取b站评论数据，支持分页爬取上千条哔哩哔哩评论
m0_63289473的博客
05-17 4119
前言Python抓取b站评论最新代码编码不易，请支持原创！付费后，可获取完整python爬虫源码及结果文件。使用中有任何问题都可以免费咨询。大家好，我是野火，专注互联网创业项目，同时也是一名程序猿。废话不多说，我们来演示用python抓取b站视频评论的功能。
Python：抓取 Bilibili（B站）评论、弹幕、字幕等
qq_41297934的博客
09-15 5334
​ 个人科研学习需求，需要获取一些 UGC（user generated content），包括 UP 的内容、弹幕、评论等。于是从 哔哩哔哩 (゜-゜)つロ 干杯~-bilibili抓取了一些数据，以下内容仅供学习参考。
Pytho爬虫项目实战：采集B站《全职高手》近20万条评论数据
Python_sn的博客
10-24 426
我们都知道，B站有很多号称“镇站之宝”的视频，拥有着数量极其恐怖的评论和弹幕。所以这次我们的目标就是，爬取B站视频的评论数据，分析其为何会深受大家喜爱。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤QQ群：623406465 首先去调研一下，B站评论数量最多的视频是哪一个。。。好在
（2024.9.18更新）新版从b站爬取评论的方式+代码
m0_73689378的博客
09-18 9558
新版b站爬取评论接口+代码，可直接使用
基于Python的B站番剧长评论数据分析与处理
qq_69398767的博客
03-14 756
1.安装pip3 install bilibili-api-python3.自行进行数据处理即可。
集蜂云-【B站动态评论采集器】使用教程
m0_73689941的博客
09-05 605
集蜂云-【B站动态评论采集器】使用教程
B站评论区的力量：构建大语言模型微调数据集的新策略
2401_84494441的博客
08-31 1482
前段时间，我的某个课程给我们提出了一个任务：自行构建数据集，微调 [Aquila-7B] 大模型。上网搜了一圈，发现很多对话数据集是用的 GPT 系列的模型，而且数据集很多都是英文的，中文的数据集很少。作为 B 站用户，我突发奇想，想到了 B 站的视频评论区，这里的对话更加贴近生活，而且 B 站的视频评论区有很多热门视频，评论数也很多，能不能那它们来构建一个中文的对话数据集呢？后记：由于时间关系，我最终没有用这个数据集来微调 Aquila-7B。
Python爬虫入门教程 32-100 B站博人传评论数据抓取 scrapy
热门推荐
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
12-06 2万+
1. 写在前面 今天闲着无聊，抓取一下B站的评论数据，视频动画那么多，也不知道抓取哪个，选了一个博人传跟火影相关的，抓取看看
B站视频信息爬取+CSV存储
jlkdfjgjdfkg的博客
07-22 664
一、不携带视频名称 #!/usr/bin/env python # -*- coding: utf-8 -*- import threading import time from concurrent import futures import csv import requests total = 1 result = [] lock = threading.Lock() def run(url): # 启动爬虫 global total headers = {
w3bsite-4.10.3.tar.gz | PyPI 官网云原生Python库下载
资源摘要信息:"w3bsite-4.10.3.tar.gz" 1. PyPI官网介绍: PyPI全称Python Package Index，是Python的官方包管理和分发系统。用户可以在这个平台上找到并下载各种Python包，以实现代码复用和功能扩展。PyPI官网提供...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值