python可以做什么有意义的事情_你觉得可以用python爬虫做哪些有意思的事情?

本文介绍了如何使用Python爬虫批量下载B站视频,主要步骤包括抓取JSON数据、解析JSON获取视频URL及使用you-get模块下载视频。通过Python的requests和json模块完成数据获取与解析,借助you-get实现视频下载。整个过程适合有一定Python爬虫基础的读者,操作相对简单。
摘要由CSDN通过智能技术生成

当然是批量下载B站视频啦,主要分为2步,首先爬取视频url地址,然后根据url地址下载视频,下面我简单介绍一下实现过程,实验环境win10+python3.6+pycharm5.0,主要内容如下:

这里为了更好的说明实验过程,以爬取B站的TED演讲为例,如下:

178013471_1_20191215072329266

1.首先,爬取视频的url地址信息,B站视频的信息是动态加载的,存储在一个json文件中,所以需要进行抓包分析,按F12调出开发者,F5刷新页面,查看所有抓包信息,如下,可以看到json格式加载的视频信息:

178013471_2_20191215072329407

2.接着就是获取上面的json文件,解析这个json文件,提取到我们所需要的视频信息,这里主要是获取到url地址信息,代码如下,主要用到requests和json这2个模块,其中requests用于获取json文件,json用于解析json文件:

178013471_3_20191215072329579

运行程序,效果如下,已经成功获取到视频信息:

178013471_4_20191215072329797

3.最后就是根据视频url地址批量下载视频了,这里主要用到you-get这个模块,安装的话,直接在cmd窗口输入命令“pip install you-get”就行,基本使用方式“you-get 视频URL地址 -o 视频存放目录”,这里我们直接使用os.system执行这个命令就行,主要代码如下,非常简单:

178013471_5_20191215072329985

运行程序,截图如下,已经开始下载视频:

178013471_6_20191215072330110

接着打开对应的视频存放目录,就可以看到正在下载的文件,如下:

178013471_7_20191215072330329

至此,我们就完成了利用python爬取并批量下载B站视频。总的来说,整个过程非常简单,就是步骤有些繁琐,只要你有一定的python爬虫基础,熟悉一下上面代码,多调试几遍程序,很快就能掌握的,网上也有相关教程和资料,非常丰富详细,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值