爬虫，关于 video 标签 src 带有blob:http的 一些想法

大家好，我是烤鸭：

    之前玩爬虫的时候，看到过video标签中src属性引入的blob:http:xxxx，当时没找到解决思路，今天又遇到类似问题，就试着找了一下。

这是有人问过 https://vimeo.com/ 这个网站的视频怎么下载。
      How to download video with blob url? - Super User
 

1.   分析

    以这个网址为例：
美天合集团CFO汪润怡谈制胜新兴市场的战略-高顿公开课

看video标签中的src属性，发现
src="blob:https://open.gaodun.com/b9d3366f-87ef-4328-9d97-31110de519a1"

复制这个地址去浏览器什么也找不到。

2.   找真实地址

不管上面的问题。先去看一下视频到底从哪来的。以谷歌浏览器为例，选择XHR，发现加载了m3u8文件。

m3u8是一种视频格式，看response中返回的.ts文件，直接复制ts文件的路径打开，就是视频片段。

到这，文件其实已经找到了。但是video中的blob:https://xxxx是什么呢，是怎么找到的文件。
这篇文章给了解释。
        视频网站中video标签中的视频资源以blob:http呈现的探索_云涛89114的博客-CSDN博客_blob:
简单来说就是视频对象做了个标记，src指向的是标记。
 

3.     找关联

当我对着源码和请求的response对照的时候，发现播放器周围的html标签都是后生成的，找到了一个比较“可疑”的js文件。

发现播放器代码附近的：

<div class="playDiv" id="divid"> <script type="text/javascript" src="https://s.gaodun.com/web/static-player/loader.js?13p9Wv580v1a!!fs-3"></script> </div>

看了js的源码，再跟了下debug。

找到了这个网页请求的m3u8地址是这个：https://vod.gaodun.com/13p9Wv580v1a!!fs/SD/1.m3u8。

直接浏览器访问就可以获取，就可以获取ts文件。ts文件就是一段段的视频，可以下载下来之后拼接成一个完整的文件。
 

4.     总结

    至此，关于video 标签 src 带有blob:http的 抓取的就写完了。但是每个网站的情况都不一样。

这里只是提供一种思路，比如刚开始写的 https://vimeo.com/ 这个网站就不是js，而是json里边包含的视频地址。

欢迎有想法的朋友多交流。