使用python爬取最右视频

离心上秋

于 2020-04-15 12:16:59 发布

阅读量721

点赞数 1

分类专栏： python学习文章标签： python

本文链接：https://blog.csdn.net/qq_40692878/article/details/105531756

版权

本文记录了作者使用Python进行网络爬虫的实践过程，详细介绍了如何利用mitmdump（替代Windows环境下无法使用的mitmproxy）来抓取最右App中的视频链接，并通过adb命令进行自动滑动，以持续获取新的视频资源。

摘要由CSDN通过智能技术生成

最近学习了python,在此记录一下用python爬取最右视频

首先安装mitmproxy，安装方式：pip install mitmproxy

因为我使用的是Windows系统，无法使用mitmproxy，所有使用了mitmdump，mitmdump是mitmproxy的命令行接口，具体安装使用可以百度进行搜索。

可以先使用Fiddler先抓取App包进行分析，可以看出视频的url前缀为:

我就随便选择两个进行抓取

代码如下：

import requests
#存放视频目录
path = './image/'
i=0
def response(flow):
    global i
    alr_load=[]
    target_url=['http://video.izuiyou.com/','http://dlvideo.izuiyou.com/',]
#过滤其它url
    for url in target_url:
        #过滤重复视频
        if url not in alr_load:
            if flow.request.url.startswith(url):
                alr_load.append(url)
                #下载视频名
                filename=path + str(i) + '.