用python有一段时间了,对python是十二分喜爱,在我看来python是个好工具,可以轻松简洁的帮我完成一些我想要完成的工作。下面和大家分享一下我用python爬取某网站视频的案例。用python去保存网站的视频,主要是为了后续的查看和备份。如果有需要做爬虫研究的同学可以一起探讨下。本文主要用到requests库和BeautifulSoup库。
1.抓取视频第一步,分析目标网站的地址
本文中我爬取的是X网站,这个网站需要登录,所以第一步是模拟网站登录,如果你抓取的网站是不需要登录的,可以忽略这一步。下面放上代码。
session = requests.session()
UA = "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.13 Safari/537.36"
header = {"User-Agent": UA}
session.post(login_url,headers=header,data={'phone':'***','password':'***'})
2.抓取视频第二步,分析页面当中的视频地址
查看视频地址的方法有很多,我用的是google的开发者工具,通过查看network,查看视频页面所请求的链接地址,然后根据视频页面url的get参数,找出请求视频地址二者之间的关系。放上network的截图视频页面实际的请求链接
3.抓取视频第三步,模拟请求视频地址