我的爬虫之旅
关注
分享
扫一扫
文章平均质量分 77
小黑LLB
这个作者很懒，什么都没留下…
展开
-
转载·FIddler+Proxifer 实现PC客户端抓包
FIddler+Proxifer 实现PC客户端抓包转载文章文章链接FIddler+Proxifer 实现PC客户端抓包目前为止让我成功的文章，写的确实比别的文章细节一些，少了一些细节真的不行。萌新都是两眼摸黑啊。写就不写了，偷懒一波。点我回顶部 ☚ Fin....转载 2020-08-27 09:24:21 · 398 阅读 · 0 评论 -
Fiddler无法抓手机APP数据包的解决办法
参考链接使用fiddler抓取手机上的HTTPS包Fiddler抓不到手机APP数据包解决办法（检查步骤）Fiddler 正确配置（图是借来的，因为主要讲步骤）手机与PC在同一网络中两台设备连接同一个 WIFI，需要检查一下。手机端正确挂上代理代理 IP 为同一 WIFI 下，PC 分配到的 IPv4 地址，通过 ipconfig /all 可查。代理端口为 Fiddler 设置中所选用的。关闭相应的防火墙把正在使用网络的防火墙关闭，或者全关（可能是专用、公用，看情况）。原创 2020-07-13 13:54:53 · 14753 阅读 · 0 评论 -
Fiddler突然抓不到数据包（内容）了，只能抓到无关紧要的数据包或什么都抓不到
问题：Fiddler抓不到想要的数据包【记录贴】具体描述今天想要抓一个网页里面内容的链接，F12 不是很方便，所以我想使用 Fiddler 抓包看看，可是突然发现我怎么尝试都无法抓到数据包（一看就是有问题的那种，而不是缺失一些数据包）经过我的一些尝试（重启 Capturing，关闭 Filters，重启浏览器和 Fiddler，检查其它代理）。不由的一惊，嗯？？？解决办法在网上查找...原创 2020-03-27 21:40:12 · 4034 阅读 · 2 评论 -
爬取B站直播流 - http+flv的相关研究
参考链接HTTP-FLV直播初探 HTTP-FLV的两种方式爬取B站直播流目录1. 前言说明2. 具体的分析3. 爬取难点分析4. 编程实现5. 心得体会一、前言说明 ↶前言这个小项目也立了有一段时间，最近捣鼓了一阵子，把上次遗留下来的问题算是解决。本次博文的目标就是从B站直播间爬取B站的直播流，相当于将B站的直播录制成视频下载到本地硬盘上的过程，当然录制直播...原创 2019-10-18 21:22:09 · 25639 阅读 · 8 评论 -
为什么我的 Wireshark 抓不到/抓不全 HTTP 数据包 ？
扩展阅读：Mac 电脑， wireshark 很多 http 包抓不到！wireshark截不到http协议参考链接：配置Wireshark抓取https数据包 解密SSLWireshark+Chrome,HTTPS数据包抓取配置wireshark https抓包如果是chrome浏览器的数据流 直接配置”SSLKEYLOGFILE“就可以解密了。破解SSL加密网络数据包的方...原创 2019-08-13 16:53:51 · 47238 阅读 · 12 评论 -
研究B站个人收藏中已失效的视频
相关链接：研究B站已失效的视频目录1. 前言说明2. 获取和研究网页源代码3. 获取和研究 JSON 文件4. 其他途径的尝试5. 心得总结一、前言说明 ↶前言部分：最近打开自己的收藏夹，发现部分视频已经变成了已失效状态，o(╥﹏╥)o 。但是，就算不给播放视频，至少把视频的标题放上去，连失效的视频是什么都没办法了解。近几天的收藏还记得住，可是时间一长都不知道自己收藏...原创 2019-08-11 08:59:33 · 25075 阅读 · 0 评论 -
研究B站在线人数
参考链接：B站最详细的API【详解】b站改版后获取当前正在观看人数用python爬取B站在线用户人数研究B站在线人数目录1. 前言2. 全站在线人数和观看人数3. 单个视频观看在线人数4.总结一、前言 ↶最近想研究一下B站的在线人数的获得方式，并把相关的内容记录在自己的博客里。二、全站在线人数和观看人数 ↶在查找资料的过程中，我发现了两个接口：http://...原创 2019-07-09 12:01:07 · 7901 阅读 · 1 评论 -
使用Python脚本下载Bilibili相簿
参考链接：Bilibili相簿下载(Bilibili Album Download)下载Bilibili相簿目录1. 接口展示2. 代码转载3. 代码详细注释4.总结一、接口展示 ↶api1:https://api.vc.bilibili.com/link_draw/v1/doc/upload_count?uid=+uid号api2:https://api.vc.bilibi...转载 2019-07-05 23:03:47 · 1123 阅读 · 0 评论 -
爬取B站视频 - m4s文件的相关研究
参考链接：什么是 M4S 文件扩展名？抓取网页视频显示大量m4s文件，怎样转为MP4或者其他方法抓取？由M3U8(TS)或MPD(M4S)获取视频斗鱼下载的m4s视频文件无法播放？[Windows] 原创-B站1080P+大会员M4S格式60fps音视频文件下载合并下载视频流M4S并合成MP4爬取B站视频目录1. 前言2. 分析思路3. 视频和音频下载4. 转换和混流...原创 2019-07-05 11:50:10 · 84020 阅读 · 20 评论 -
爬取 BILIBILI 十周年 相关资源 By Hand
BILIBILI 十周年目录1. 资源展示2. 相关链接3. 特殊彩蛋？4. 总结一、资源展示 ↶静态图动态GIF二、相关链接 ↶bilibili十周年生日宝箱.mp4十终有你.gifbilibili十周生日直播.mp4一、资源展示 ↶点我回顶部 ☚ ...原创 2019-06-20 20:30:37 · 442 阅读 · 0 评论 -
爬取 BILIBILI MACRO LINK 2019 相关资源 By Hand
BILIBILI MACRO LINK 2019目录1. 资源展示2. 相关链接3. 特殊彩蛋？4. 总结一、资源展示 ↶水印问题，可以在 相关链接 中下载1. 全息演唱会专场 BILIBILI MACRO LINK VISUAL RELEASE 2019静态图动态图【因为某些原因，当做是预览图吧】人物素材2. 主题线下聚会 BILIBILI MACRO LI...原创 2019-05-21 16:42:28 · 1504 阅读 · 0 评论 -
Wireshark学习笔记 - 软件使用调试 - Wireshark高级功能（上）
Wireshark目录1.软件使用调试1.3. Wireshark高级功能1.3.1 数据流追踪1.3.2 专家信息说明1.3.3 统计摘要说明1.3.4 协议分层统计一、数据流追踪 ↶功能：将TCP、UDP、SSL等数据流进行重组并完整呈现出来使用方法进入数据流追踪窗口在菜单栏上方，选择 Analyze - Follow - TCP/UDP/SSL/HTTP str...原创 2019-05-18 15:15:24 · 752 阅读 · 0 评论 -
Wireshark研究血族Bloodline手游聊天系统 - 初尝试
血族Bloodline手游聊天系统的相关研究目录1. 介绍&起因2. Fiddler初尝试3. Wireshark初尝试4. 总结一、介绍&起因 ↶（PS. 容我说先几句） 《血族bloodline》是一款吸血鬼卡牌手游，根据漫画家爱欧超人气同名漫画《血族Bloodline》改编。【摘自 - 百度百科】&n...原创 2019-05-10 20:46:00 · 808 阅读 · 0 评论 -
Wireshark学习笔记 - 软件使用调试 - Wireshark进阶调试（下）
Wireshark目录1.软件使用调试1.2. Wireshark进阶调试1.2.1 显示界面设置1.2.2 数据包操作1.2.3 首选项设置1.2.4 抓包选项设置1.2.5 过滤器设置 1.2.5.1 抓包过滤器 1.2.5.2 显示过滤器 抓包过滤器 ↶在以...原创 2019-05-03 21:53:52 · 574 阅读 · 0 评论 -
Wireshark学习笔记 - 软件使用调试 - Wireshark进阶调试（中）
Wireshark目录1.软件使用调试1.2. Wireshark进阶调试1.2.1 显示界面设置1.2.2 数据包操作1.2.3 首选项设置1.2.4 抓包选项设置 1.2.4.1 输入【Input】 1.2.4.2 输出【Output】 &...原创 2019-05-03 16:56:07 · 871 阅读 · 0 评论 -
Python爬取WebSocket数据 - 初尝试
参考链接：WebSocket 通信原理【底层】：原来你是这样的Websocket–抓包分析 Python 爬取 WebSocket【顶层】：Python如何爬取实时变化的WebSocket数据的方法注意：可以直接参考上述链接，解释地很详细。WebSocket 爬虫目录1. WebSocket 介绍2. 分析3. 编写爬序4. 其它5. 总结一、WebSocket 介绍 ↶...原创 2019-05-03 10:32:42 · 5428 阅读 · 0 评论 -
Wireshark学习笔记 - 软件使用调试 - Wireshark进阶调试（上）
Wireshark目录1.软件使用调试1.2. Wireshark进阶调试1.2.1 显示界面设置1.2.2 数据包操作1.2.3 首选项设置1.2.1 显示界面设置 ↶显示大小调整列设置时间设置名称解析显示大小调整 ↶有时候界面里的字体太小、太大，看起来吃力，那么可以通过放大、缩小，来调整字体大小。分别对应了：放大 缩小 复位列设置 ↶一般情况下，列表区...原创 2019-05-02 11:06:09 · 2190 阅读 · 0 评论 -
Wireshark学习笔记 - 软件使用调试 - Wireshark安装入门
Wireshark目录1.软件使用调试1.1. Wireshark 安装入门1.1.1软件介绍1.1.2抓包原理1.1.3 初始安装1.1.4初始抓包1.1.5 界面介绍1.1.1 软件介绍 ↶Wireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为...原创 2019-05-01 13:51:49 · 858 阅读 · 0 评论 -
Fiddler学习笔记（二）
Fiddler笔记总有些会重复出现的目录1. 简易描述2. AutoResponder3. Composer4. 手机抓包5. 总结一、简易描述 ↶Fiddler 简介Fiddler是位于客户端和服务器端的HTTP代理，是目前最常用的HTTP抓包工具之一。Fiddler能够记录客户端和服务器之间的所有HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试...原创 2019-04-30 09:19:41 · 405 阅读 · 0 评论 -
Fiddler学习笔记（一）
Fiddler目录1. 简易描述2. 功能描述3. Fiddler使用4. 总结一、简易描述 ↶ Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯，设置断点，查看所有的“进出”Fiddler的数据（指cookie,html,js,css等文件）。 Fiddler 要比其他的网...原创 2019-04-28 18:30:30 · 598 阅读 · 0 评论 -
Python requests库处理 multipart/form-data 请求以及 boundary值问题
原因爬虫模拟提交文件的时候遇到下面的问题：点击查看源代码后，发现看不懂：------WebKitFormBoundarytZTJQrWcjjcJIMVQContent-Disposition: form-data; name="upload"; filename="好好学习.txt"Content-Type: application/octet-stream×÷ΪTest--...转载 2019-04-20 18:59:32 · 20657 阅读 · 3 评论 -
Python rsa库实现 jsencrypt 加密
参考网站：jsencrypt 加密怎么用 Python 的 rsa 库实现python 3 实现 js 中 JSEncrypt encrypt 方法，rsa 模块根据字符串公钥生成加密字符串rsa 字符串格式公钥转换 python rsa 库可识别的公钥形式大致程序展示：import base64from Crypto.Cipher import PKCS1_v1_5 as Ci...转载 2019-04-16 08:44:10 · 3616 阅读 · 0 评论