庭审录播爬虫

最新推荐文章于 2021-03-21 05:29:46 发布

python__reported

最新推荐文章于 2021-03-21 05:29:46 发布

阅读量4.1k

点赞数 1

分类专栏：爬虫

本文链接：https://blog.csdn.net/python__reported/article/details/108732481

版权

17 篇文章

订阅专栏

一、庭审直播网

在这里插入图片描述

在这里插入图片描述
庭审公开网的内容包括直播与录播
直播没有办法爬，只能看的时候进行录制
所有选定的目标为录播

在这里插入图片描述

首先录播视频的加载方式为点击查看更多后进行动态进行新内容的加载

在这里插入图片描述
加载中url并不变化
其中case_list中的就是视频的地址

不点击see more不会加载后续内容

因而此处使用selenium进行模拟点击

首先通过以下元素交互进入具体案件的庭审录播
在这里插入图片描述

在这里插入图片描述

有的视频文件有的直接由视频的地址.mp4，可以直接下载，
在这里插入图片描述

但是这种一般内含了一个网页
在这里插入图片描述

然而大多数是没有的，只有跳转的url
在这里插入图片描述

但是其中的在调试中可以发现，点击播放时会出现.m3u8文件；而通过src中的url进入时不需要点击播放即可找到.m3u8文件，因而获取属性src中url，然后通过requests模块快速进行.m3u8文件的地址的查找。

import requests
r = requests.get("http://player.videoincloud.com/vod/9314083?src=gkw&cc=1")
print(r.text)

在这里插入图片描述
因此，selenium只要找到属性src的值即可

找到m3u8文件后即可使用ffmpeg进行下载，此处为了下载速度更快使用了
anwenzen的M3u8Download，进行了适合windows平台的修改

该项目已经上传到github上，链接: trial_recording_and_broadcasting.
在这里插入图片描述

没有直接下载MP4，后续会进行增加，从而不用进行m3u8的下载，而是直接下载MP4,此外m3u8文件的下载出现大幅度的失误即下载后的视频比应有的视频少了很多