爬虫乱记乱记

本文介绍了如何在开发者工具中查找并下载非标准格式的视频链接。通过在网络交互中查找响应URL,利用JSON解析嵌套的字典列表,解决了链接获取的问题。针对视频下载遇到的403错误和二次跳转,添加了合适的headers并允许重定向,以成功下载MP4格式但实际上经过网页跳转的视频。
摘要由CSDN通过智能技术生成

初始界面是这样的,我在开发者工具中找不到视频的链接

 并且这些视频点开后不完全是以.mp4来结尾,利用简单的python爬excel的形式不可以完全download。

1.解决链接,打开检查-network,在动态交互中进行查询,复制respond(注意选择到url的部分时有字典列表的嵌套),使用json模块进行下载。

2.解决视频下载问题。其实视频链接选择查看形式也是mp4格式,网页进行二次跳转,有时候还会403。综合上面的因素,增加header(字典形式更为方便),同时allow_redirects = True

本人待学:json,web结构

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值