![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
requests
文章平均质量分 73
阿肆si
这个作者很懒,什么都没留下…
展开
-
Windows和夜神模拟器上抓包程序mitmproxy的安装以及使用
一、介绍说明mitmproxy是一个支持HTTP和HTTPS的抓包程序,有类似Fiddler、Charles的功能,只不过它是一个控制台的形式操作。mitmproxy还有两个关联组件。一个是mitmdump,它是mitmproxy的命令行接口,利用它我们可以对接Python脚本,用Python实现监听后的处理。另一个是mitmweb,它是一个Web程序,通过它我们可以清楚观察mitmproxy捕获的请求。mitmproxy的功能:1、拦截HTTP和HTTPS请求和响应2、保存HTTP会话并进行分析原创 2021-08-30 19:55:17 · 14424 阅读 · 8 评论 -
python爬虫中pyc文件的生成和使用
一、pyc文件是什么?python中的pyc扩展名文件,类似于Java的Class字节码文件,是由编译器编译得来的,供解释器使用;当我们部署程序时,不想暴露源码,可以使用pyc文件;它存在__pycache__文件里二、生成单个pyc方式一:命令行:使用python内置的py_compile库,操作简单;python3.6 -m py_compile test.pypython也可以不用指定版本-m的作用:把模块当作脚本来执行方式二:脚本:#!/usr/bin/env python3原创 2021-08-24 14:01:45 · 6993 阅读 · 0 评论 -
python爬虫中处理超时的三种方法
timeout(超时)首先是:为防止服务器不能及时响应,大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下,除非显示指定了 timeout 值,requests 是不会自动进行超时处理的。如果没有 timeout,你的代码可能会挂起若干分钟甚至更长时间其次是:连接超时指的是在你的客户端实现到远端机器端口的连接时(对应的是 connect() ),Request 会等待的秒数。一个很好的实践方法是把连接超时设为比 3 的倍数略大的一个数值,因为 TCP 数据包重传窗口 (TCP pa原创 2021-08-20 12:38:23 · 12570 阅读 · 0 评论