python爬虫脚本入门-通过电影脚本讲些爬虫知识_无名小站解析接口

实现对各大视频网站vip电影的下载，因为第三方解析网站并没有提供下载的渠道，因此想要实现电影的下载。

实现思路

1. 选择一个合适的vip解析网站，这里选择了无名小站的接口，因为尝试了很多网站，有些网站想要爬取很困难，无名小站相对简单,接口为www.wmxz.wang/video.php?url=[xx电影的链接]
2. 利用Fiddler进行抓包，模拟浏览器发送post请求,获取电影实际下载地址。
3. 使用PyQt5进行包装，实现多样化的功能。

页面分析

我使用Fiddler抓包，首先，浏览器进入接口，这里随便加一个电影的链接，然后来看post请求:

我们已经知道了提交post请求的url，箭头所指的地方是提交的表单，里面的url就是我们要下载电影的ur，出现%3F这些是因为将url编码为了ASCII码，这里可能使用urllib对其进行解析，很简单；vkey需要我们获取，其实它就藏在Post请求之前get请求返回的页面中，vkey是动态变化的，每一次都不一样。红线部分是服务器返回的信息，前几天我爬取的时候里面的url还是电影的下载链接，现在变成了一个m3u8文件，里面的网址也是编码后的，我们需要用urllib进行解码，我们手动打开https://youku.cdn2-okzy.com/20200408/8808_23a9c669/index.m3u8看看里面的内容，下载后打开

发现里面并没有我们想要的ts文件，但是在文件中有一行1000k/hls/index.m3u8，也是以m3u8为后缀的，使用前面的url与文件中的部分地址拼接，结果为: https://youku.cdn2-okzy.com/20200408/8808_23a9c669/1000k/hls/index.m3u8，再次用浏览器手动打开，下载内容后发现里面是一个个ts文件，最后将ts文件下载后拼接即可(因为我爬的时候还是电影链接，写博客时发现改了，所以拼接方法我也不会，网上应该容易找到)。

下面我们只要获取vkey就可以得到这些ts文件地址了，我们向前看，找返回内容有vkey的get请求:

对比发现和post请求中的vkey一样，接下来就可以开始编写代码了。

代码实现

获取vkey，从上面的分析我们可以知道，get请求的网址为
https://www.administratorm.com/WANG.WANG/index.php?url=[要下载的xx电影]
我采用输入链接的方式来拼接get请求要访问的url，顺便使用urllib库将输入链接编码，方便后面的post请求使用

headers1 = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',
      'Referer':'无名小站'
      }
 
headers2 = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}
#定义接口链接
api_url = 'https://www.administratorm.com/WANG.WANG/Api.php'
input_url = input("请输入电影url链接:")
print("请稍等!")
get_key_url = '无名小站
parsed_url = parse.quote(input_url,safe='')

这里创建一个会话，会话是用于服务器记录用户身份的，然后就是发送get请求，获取网页源码，然后使用re匹配到vkey的内容，这里要注意的是get请求中的verify=False参数，其实我也不太明白，是一些网站有SSl认证，加了这个参数就可以跳过认证，加了此参数可能会有很多警告，使用 logging.captureWarnings(True) 设置不显示警告。

sess = requests.session()
vkey = get_key(sess,get_key_url)
 
def get_key(sess,get_key_url):
  logging.captureWarnings(True)
  response = sess.get(get_key_url,headers=headers1,verify=False)
  response.encoding=response.apparent_encoding
  content = response.text
  vkey = re.findall('vkey.*?\'(.*?)\'',content)[0]
  return vkey

制作表单，获取了vkey后，我们就可以制作提交post请求的表单了，代码很简单，就不做介绍了。

datas = make_dataform(parsed_url,vkey)
def make_dataform(parsed_url,vkey):
  datas = {
      'url':parsed_url,
      'wap':'0',
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！



### 一、Python所有方向的学习路线



Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、全套PDF电子书



书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

![](https://img-blog.csdnimg.cn/img_convert/46506ae54be168b93cf63939786134ca.png)



### 四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)



### 五、实战案例



光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。



![](https://img-blog.csdnimg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)



### 六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。



![](https://img-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)  

![](https://img-blog.csdnimg.cn/img_convert/d2d978bb523c810abca3abe69e09bc1a.png)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**