爬虫
Asche910
这个作者很懒,什么都没留下…
展开
-
B站视频下载(VideoHelper)
继续上次的知乎爬虫, 这次开始了哔哩哔哩的爬虫实践;首先介绍下如何下载吧:VideoHelper里面有三种方式下载b站视频。同样的流程, 还是先抓包,分析参数,寻找参数(包括之前的请求包和页面源码),找出视频真实地址, 然后在模拟。抓包是注意几个参数:aid:每个视频都会有对应的 aid, 包括ep类型的;cid:弹幕的id, 通过相关api可由ci...原创 2019-10-26 09:29:03 · 10911 阅读 · 0 评论 -
记一次基于Cloudflare服务的爬虫
前言前几天有个朋友托我帮忙爬一个网站,第一次打开那个网站时,我去,它竟然就要验证码,不过当时是想加几个header应该就能解决,不过事实证明我还是错了。接下来将记录下爬虫中遇到的一些坑以及解决办法。开始相关目标网站:AVADA – Avada Commerce使用了Cloudflare的cdn服务,而且Cloudflare又和百度有合作,所以我们的访问异常时,就会被百度的云加速服务给...原创 2019-07-06 19:49:44 · 5615 阅读 · 0 评论