BiliBili漫画爬虫研究 (附代码Github链接)

最新推荐文章于 2024-09-28 20:59:01 发布
最新推荐文章于 2024-09-28 20:59:01 发布
阅读量4.3k 收藏 14
点赞数 4
分类专栏： 爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lihe2007/article/details/118767449
版权
该项目使用Python实现BiliBili漫画的多线程下载，每话漫画导出为PDF，并能合并为Kindle兼容格式。详细分析了漫画详情获取与单集漫画下载的步骤，通过分析网络请求获取所需数据。提供了GitHub链接以供查看完整代码。
摘要由CSDN通过智能技术生成

本项目实现了以下功能

  1. 多线程下载漫画
  2. 每一话导出PDF
  3. 合并PDF 并加入Kindle能解析的标签

GitHub链接： GitHub传送门

下面开始分析环节

1. 漫画详情获取

        要下载漫画，首先需要获取全部章节

        打开漫画详情页，可以看到漫画详情URL由这几部分构成

https://manga.bilibili.com/detail/mc25493

无用部分 [ https://manga.bilibili.com/detail/ ] 漫画ID [ mc25493 ]

        因此，在bilibili漫画中，漫画ID用于标识漫画

        

        下一步就是获取全部章节，打开浏览器网络调试，由于bilibili漫画是前后端分离的结构，所以请求类别里面选XHR。

 

        我们在请求列表里可以看到一个 “ComicDetail“ 的请求，点开发现这个请求的epi_list中包含了每一集漫画的”id“，和更多信息。我们现在即可获取每一集的名字，是否购买等方便进一步开发的信息。

2. 下载每一集漫画

        获取到漫画ID后，我们可以进行下载，首先打开漫画阅读界面，再开网络调试，选X

最低0.47元/天 解锁文章
lihe2007
关注
专栏目录
Bilibili漫画抓取思路
weixin_43724752的博客
01-26 3336
Bilibili漫画爬取思路 前提：只对于非付费章节有效。 思路仅供参考，如有错误欢迎评论区提出。 转载请贴出本文链接即可。 截止版本时间：2021/1/26 以海贼王漫画为例子。 我们选择第一章 “001 ROMANCE DAMN…” 可以看到如下漫画内容 打开调试器，F12 可以看到形如***.jpg@1100w...token=***&ts=***的URL，并且该URL返回为图片形式，也就是我们想要的。继续查看其请求类型和参数。 可以看到请求类型为GET, 请求参数为 token
怎么用python绘制柱状图_Python数据分析：如何绘制柱形图，绘制柱形图的方法
weixin_39957805的博客
11-23 1073
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。没有安装PyEcharts的，先安装PyEcharts：data = pd.read_excel('D:/python/xgyq.xlsx',sheet_name='1')#按新增字段进行降序data = data.sort_values(by=['新增'],ascending=[...
Python爬虫：爬取B站视频信息
最新发布
m0_73552819的博客
09-28 837
然而，每一页的视频量仅仅只有30多个，接下来需要做的是获取多页视频。当点击下一页时可以发现，网址上的参数也有一定的变化，抓住这点，不难发现下一页的参数发生变化。打印结果为“”说明成功get到该页面信息，接着我们可以在网页上找到数据保存格式为json格式，以字典形式逐渐提取需要的信息。摘取一个抓取响应标头cookie和请求标头信息，知道爬虫的小伙伴都知道有些参数是不需要的。进入网页版B站“每周必看”栏目界面，按快捷键F12进入开发者模式，按下图所示获取信息。
初学者爬虫爬取漫画
碎片的博客
03-12 6361
初学Python爬虫，爬了一部漫画
Python爬虫获取B站漫画
m0_59092412的博客
06-15 2060
的请求输入是之前GetImageIndex...得到的/bfs/manga........jpg’添加一些字符串，如上图所示。
基于python3 pyppeteer的漫画爬虫及下载项目PiaoManga
closelee的博客
08-08 400
推荐一下自己的python3漫画下载项目:github链接:PiaoManga。 目前项目是半完成状态，支持漫画源：manhuaju)未来目标是可支持更多源，不通过浏览器加载页面，以及添加UI与在线阅读功能。如果您感兴趣欢迎在/piaomanga/comicsource/MangaSource/下贡献对更多漫画源的支持 PiaoManga 一个基于pyppeteer的漫画下载器，目前完成基本框架并支持一个漫画源"manhuaju.com"，后续会持续完善。 可增加/piaomanga/comicsource
2023.6.4 python小项目 爬取动漫视频
m0_56366541的博客
06-04 154
1.由于要爬取的视频是通过运行js代码进行调用的media文件，普通的get方法只能爬取到没有内容的初始网页，要利用seleuinm模拟浏览器运行，抓取有内容的网页。2.调用edge浏览器的Selenium拓展，一步到位减少了自己写Selenium代码的麻烦。2.不知道是不是因为在代码中写上了需要点击的原因，使用option不弹出浏览器时代码失败了。点击方块结束操作，在项目那里的三个点的地方选择export导出为你想要的脚本文件到本地。3.消耗的时间还是很长的，后续还要重新优化一下。2.爬取html文件。
基于phthon的Bilibili用户爬虫案例
01-30
Bilibili是中国一个非常流行的弹幕视频分享平台，它拥有大量的用户数据，对于数据分析和研究来说极具价值。我们将利用Python语言及其相关库来实现这一目标。 首先，"基于Python的Bilibili用户爬虫案例"意味着我们...
Python爬虫开源项目代码案例汇总
python自学网
07-20 1738
python自学网www.pythonzxw.com 给大家整理了23个Python爬虫项目，所有链接指向GitHub。 1、WechatSogou – 微信公众号爬虫 基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 github地址： https://github.com/Chyroc/WechatSogou 2、DouBanSpider – 豆瓣读书爬虫 可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Ex..
bilibili视频信息爬虫
After__today的博客
12-02 1680
尝试了破解bilibili滑动验证码达到自动登录的效果之后，就顺带做了下其中的视频信息的爬虫。 一，使用selenium登陆bilibili，保存的Cookie的信息到本地（网上有很多，这里就不细说了，代码文末有） 二，选择一个视频分区，爬取其中的视频信息 这里我拿音乐区的原创音乐做例子，查看更多进入原创音乐分区 这里有两种排序方式，按投稿时间和按热度，在chrome的控制台里的J...
23个Python爬虫开源项目代码：爬取微信、淘宝、豆瓣、知乎、微博
码农黑羽的博客
03-08 2157
今天为大家整理了32个Python爬虫项目。整理的原因是，爬虫入门简单快速，也非常适合新入门的小伙伴培养信心，所有链接指向GitHub。 1、WechatSogou – 微信公众号爬虫 基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。 github地址： https://github.com/Chyroc/WechatSogou 2、DouBanSpider – 豆瓣读书爬虫 可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到E
python拷贝漫画下载爬虫(附代码github链接)
ldl345的博客
10-15 3510
当然最好等一会，因为打印出最后下载章数的时候，可能还有一些下载图片的进程在运行。使用临时账号和密码登陆，需要登陆的原因是有一些漫画不登陆不可见 (在50和51行处,可以不用修改 也可以修改成你的账号和密码)如果出现这种情况，可以如下解决。使用的是本机浏览器，例如代码中的Chrome浏览器 如果你的浏览器中已经登陆了拷贝网站，那么就可以省去登陆的步骤。下载的漫画全部存放于一个文件夹中，文件名格式由章节数_图片顺序_url中部分字符串构成。下载的图片新存放于本文件夹中的一个kaobei_images中。
【python爬虫】动漫之家漫画下载（scrapy）
热门推荐
MLXY123的博客
12-02 1万+
【python爬虫】动漫之家漫画下载（scrapy） 好久没有更新自己的CSDN，最近在沉迷爬虫，一开始学习爬虫的时候一直想要做一个下载漫画的（毕竟是死宅），但是在掌握下载图片的技术之后，并没能马上实现这个技术，因为一般这种网站，都会用js把漫画的链接各种加密，打乱，所以比较麻烦，在学了selenium之后，倒是可以成功下载了，但是总觉得少了点什么，但是要破解js，又觉得有点难度，本文将带领大家从...
Bibi——爬取
qq_52870044的博客
01-04 211
import requests resp = requests.get('https://www.bilibili.com/v/popular/rank/all') text = resp.text for i in range(0, len(text.split('</a> <!---->')) - 1): title = text.split('</a> <!---->')[i].split('"title">')[-1] pl
python爬虫--小白爬取哔哩哔哩每周更新栏目动画
qq_38614818的博客
01-13 1564
爬取哔哩哔哩每周必看栏目动画 前言 本次内容为爬取哔哩哔哩每周必看栏目动画，灵感来自于一位博主的评论，问能否爬取B站历史排行榜信息，便决定一试，不过B站上的排行耪都是动态更新的，因此没有头绪，自我感觉不能爬取历史排行榜信息！不过看到了一个栏目倒是有历史的信息，即图中每周必看栏目，每周五定期更新，目前已更到94期，瞬间觉着是个不错的较有挑战的例子，便打算试上一试！于是乎~便有了本篇文章，详情如下 一、爬取过程 在爬取过程中，小编开始采用之前惯用的爬取方式，发现爬取的内容不是需要的数据，每次
爬取bilibili动漫数据&数据可视化
Hello_World886的博客
12-08 6575
哔哩哔哩（英文名称：bilibili，简称B站）现为国内领先的年轻人文化社区，该网站于2009年6月26日创建，被粉丝们亲切的称为“B站”。 B站的特色是悬浮于视频上方的实时评论功能，爱好者称其为“弹幕”，这种独特的视频体验让基于互联网的弹幕能够超越时空限制，构建出一种奇妙的共时性的关系，形成一种虚拟的部落式观影氛围，让B站成为极具互动分享和二次创造的文化社区。B站目前也是众多网络热门词汇的发源地之一。 大家都知道B站的动漫资源可是十分丰富的，而且大多年轻人都喜欢看动漫，所以这次就从B站爬取了20部比较
哔哩哔哩漫画-下载地址分析
adc_god的博客
08-21 8315
举例 web请求 图片采取了blob 加密 图片真是地址在 {"code":0,"msg":"","data":[{"url":"https://is.hdslb.com/bfs/manga/075f3b41cd84dc892b04cdb1443d73b6d71adfe9.jpg","token":"73441250b03e3f16%3AMl6hWKE0Ld68N8W%2Bkc%2...
本地实现类似bilibili漫画，浏览器看漫画，python自动生成
reactioncs的博客
06-20 920
一般从nyaa等网站下载得到的漫画、轻小说等资源都是像这样图片的格式，而是用系统自带的图片浏览器观看时，翻页、缩放等都非常麻烦，效果并不好。 经过思考之后决定编写HTML网页来看漫画。 <html> <style> div { margin: auto; width: 900px; } img { width: 95%; } </style> <body> <di
哔哩哔哩爬取
我姓罗
12-20 2965
Python爬虫B站首页推荐视频的视频信息，弹幕以及该视频的up主信息 BiliBili视频信息以及弹幕爬取 主要分为四个部分： 1.获取视频的基本信息 2.获取该视频的up主信息 3.获取弹幕信息 4.写入文件 1.获取视频的基本信息 打开B站首页的源代码，找到相关内容。这里我获取的是圈红的那个部分的视频 找视频的标题和超链接的内容，超链接里面的末尾数字就是视频的id号 1. 上代码 ，找到目标...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值