问题描述
1、我们在编写手机APP爬虫的时候,往往需要mitmdump命令监听爬取到json数据,然后使用requests模块再次请求json里面的url(如图片、音频等)。那么就会遇到使用mitmdump -s 文件名启动代码的时候,无法导入requests包的问题。
2、代码和图片如下。
# -*- coding: utf-8 -*-
# @Time : 2019-08-13 21:38
# @Author : C.Jerry - 韭菜程序员
# @File : jianting.py
import requests
def response(flow):
"""用于测试-需关闭正式的抓取"""
print(flow.request.url)
print(flow.response.text)
报错如下:
解决方法
1、只需要在import 第三方模块的代码前(建议代码一开始的位置)输入以下代码即可解决。把安装包导入py文件。
import sys
sys.path.append(‘C:\Users\ASUS\AppData\Local\Programs\Python\Python37-32\Lib\site-packages’)
2、代码示例
# -*- coding: utf-8 -*-
# @Time : 2019-08-13 21:38
# @Author : C.Jerry - 韭菜程序员
# @File : jianting.py
import sys
sys.path.append('C:\\Users\\ASUS\\AppData\\Local\\Programs\\Python\\Python37-32\\Lib\\site-packages')
import requests
def response(flow):
"""用于测试-需关闭正式的抓取"""
print(flow.request.url)
print(flow.response.text)
3、验证如下:
输入 mitmdump -s 文件名 就可以运行啦!抓到了具体的数据,并且在文件内还可以另行使用requests包构造请求,下载图片等信息(下面输出的image字段)。
4、其他问题:如何查看安装包的路径
命令行输入,pip show 第三方包的名称即可。
注意:win系统下,应该使用\来描述路径(转义)。
——————————————————————感谢阅读———————————————————
——————————————————————感谢阅读———————————————————
——————————————————————感谢阅读———————————————————
有问题亦可联系本人WX: cbj1946599315
写博不易,有用请点赞收藏。转载请说明来源!
有问题亦可联系本人WX: cbj1946599315
写博不易,有用请点赞收藏。转载请说明来源!
有问题亦可联系本人WX: cbj1946599315
写博不易,有用请点赞收藏。转载请说明来源!