20230304 -
0. 引言
看到一些视频网站之后,想把视频离线下载下来怎么办?直接的方法是通过开发者工具来查看网络流量,一般可以在传输的请求类型中搜索m3u8,然后找到这部分请求,然后利用某些播放器或者下载器直接下载。
但是后来的时候发现很多网站都会检测是否打开了开发者工具,如果打开了,那么这个网站的加载过程就会被暂停,然后提示有断点。
之前的时候,会让忽略所有断点,然后一直执行,有时候也能把请求弄出来。但很多时候还是弄不出来,这个就比较尴尬。所以搜索了这部分的相关内容。
1. 尝试方案
1.1 JS逃避
问答[1]中就给出了很多如何检测是否打开开发者工具的方案,那么具体某个网站是使用了什么策略,就得去网站的源码里面扒了。在问答[2]中给出的一种解决方案就是,
直接注入console.log = null;
代码在源码最前面,想了一下可能能行,就直接在控制台执行了这个代码,但是有些网站好使,有些网站还是需要手动来跳过断点一直执行。但最起码是一种方案了。
1.2 HTTP抓包
不过仔细思考之后,因为我并不是非得弄清楚这玩意到底咋回事,或者他们内部的元素是什么样子,我只是要把请求给抠出来,那可以用到之前的老本行,直接用HTTP抓包工具来处理。以前用PC的时候,是用了Fiddler来进行调试,但是发现经典版没有mac版本,就使用了之前用过的替代工具,charles,具体下载安装方式这里不介绍,网上也有破解版。
因为要捕获HTTPS流量来解析内容流量,那么必须安装证书才行,不过这里感觉跟PC的方式有些不同,文章[3]介绍了具体的执行方案,执行之后,就可以抓到包了。最后搜索m3u8
即可。
但是某些网站,需要有软件辅助才能访问,那么需要在charles设置外部代理,这个我之前使用fiddler的时候遇到过,原理和设置过程也比较简单,看了文章[4]的方式,就可以达到我想要的流量了。
2. 总结
虽然最后弄到了我想要的结果,但是实际上,还是没有从本质的反扒策略上搞清楚到底咋回事。就比如说,我想看看他到底怎么检测的,还是得从源码的角度来弄。不过我看了看,这些视频网站最后断点位置的代码都比较相似,估计都是使用了类似的库,所以后续可以看看到底是哪个库,然后弄明白他是利用了什么检测方式。
参考
[1]Find out whether Chrome console is open
[2]Avoid the detection of “whether Chrome DevTools(console) is open”
[3]mac下配置Charles,安装证书,连接iOS手机抓包
[4]charles如何配置external proxy