python3.6 macos 某个版本多进程无法使用 requests 的问题 (自动退出/ silent exit)

最新推荐文章于 2021-05-13 00:37:25 发布
最新推荐文章于 2021-05-13 00:37:25 发布
阅读量343 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JackLang/article/details/104171566
版权

现象

python3.6 multiprocessing.Process 中使用 requests.get 程序会自动推出，没有任何提示

原因

跟踪代码，调用底层 _scproxy._get_proxy_settings 应该是存在 bug，在网上只找到一个类似的案例

https://blog.yimingliu.com/2015/07/22/python-multiprocessing-code-crashes-on-os-x-under-ipython/

本机 python2/python3 都不可以，但换一个机器就可以运行了

这应该只是一个比较特殊的问题，自己写了几个补丁方案都没有生效也比较郁闷。。。

编程武士
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在macOS上实现多进程任务处理
Bluelich的专栏
11-09 915
macOS 多进程开发， XPC
Python小白带小白初涉多进程
MrLevo520的博客
06-21 1830
Python 2.7 IDE Pycharm 5.0.3对于操作系统来说，一个任务就是一个进程（Process），比如打开一个浏览器就是启动一个浏览器进程，打开一个记事本就启动了一个记事本进程，打开两个记事本就启动了两个记事本进程，打开一个Word就启动了一个Word进程。有些进程还不止同时干一件事，比如Word，它可以同时进行打字、拼写检查、打印等事情。在一个进程内部，要同时干多件事，就需要同时
python 多进程 requests_python的多进程怎么配合requests
weixin_39765588的博客
12-07 113
这是单进程顺序执行的代码：import requests,time,os,randomdef img_down(url):with open("{}".format(str(random.random())+os.path.basename(url)),"wb") as fob:fob.write(requests.get(url).content)urllist=[]with open("url...
web server 多进程处理web请求遇到的一些问题
wangleide414的专栏
03-16 502
  uwsgi 处理web 请求使用了多进程的模式，接收到web请求后可能由不同的进程去处理。  问题背景：  一、前段时间写了个api,  这个api 是在django项目中的，并且使用的是nginx+uwsgi的方式提供服务的。在api  中 使用了django 的 get_or_create来保证数据表的唯一性。             XXX.objects.get_or_c...
python3.10最新版本下载，内含linux/windwos/macos安装包
11-12
这个版本包含了针对Linux、Windows和macOS这三种主流操作系统的安装包，使得用户能够在不同平台上无缝地进行Python开发工作。 Python 3.10 的主要亮点包括对语法的改进、性能优化以及新特性的引入。以下是关于这些...
python3.11最新版本下载，内含linux/windwos/macos安装包
11-09
Python 3.11是Python编程语言的最新稳定版本，发布于2022年11月9日。这个版本带来了许多性能优化、新特性和改进，旨在提升开发者的工作效率和程序性能。以下是对这个版本的一些关键知识点的详细说明： 1. **性能...
详解python 降级到3.6终极解决方案
09-18
在Python的使用过程中，有时我们需要将已安装的Python版本降级到特定的版本，例如从Python 3.7降级到3.6，这可能是由于某些库或框架（如TensorFlow）只支持特定版本的Python。本文将详细介绍如何在Unix/Linux系统上...
Python3.6安装
08-03
Python3.6是Python编程语言的一个重要版本，它在2017年发布，引入了许多新特性和改进，为开发者提供了更加高效和便捷的编程体验。在这个版本中，Python优化了语法、性能，并增强了标准库的功能。以下是关于Python3.6...
python3.6安装工具和步骤2
06-13
Python 3.6是Python编程语言的一个重要版本，它包含了多个新特性和改进。这篇详细的指导将为你提供Python 3.6的安装方法，尤其针对第二部分的安装步骤。 首先，确保你的计算机满足Python 3.6的系统要求。Python 3.6...
Python 关于requests 关闭连接，优化内存
weixin_44777680的博客
10-08 1万+
Python 关于requests 关闭连接，优化内存 问题场景 项目需要通过一台主机搭上代理向目标服务器定时交换数据，主机上同时跑着比较占用资源的其他项目。 项目设计思路 因为主机上已经运行了比较占用线程内存资源的其他项目，所以计划本项目就应该在不能太占用资源，的前提下保持比较流畅的运行。 设计了在线程下加上定时器的思路，定时运行相关网络请求方法。 请求量 ：每隔5秒钟，发送10 ~ 30个请求。 核心代码 headers = {"Content-Type": "application/json;cha
python request超时异常退出_Python请求Mock不捕获超时异常
weixin_39945816的博客
02-09 507
我在这里看到了两个问题。一个是直接修复问题，另一个是对Mocking框架的轻微误用，它进一步简化了您的实现。在首先，为了直接解决您的问题，根据您如何测试您的断言，您实际上希望在这里做什么：requests.get = get您应该在这里使用side_effect来帮助引发异常。根据documentation：side_effect allows you to perform side effect...
python 多进程 requests_python多进程（二）
weixin_39789042的博客
01-28 724
之前实现的数据共享的方式只有两种结构Value和Array。Python中提供了强大的Manager专门用来做数据共享的，Manager是进程间数据共享的高级接口。 Manager()返回的manager对象控制了一个server进程，此进程包含的python对象可以被其他的进程通过proxies来访问。从而达到多进程间数据通信且安全。Manager支持的类型有list, dict, Namesp...
Python 多进程调用requests API发送网络请求导致python程序崩溃
Ken的博客
05-13 946
Python 多进程调用requests API发送网络请求导致python程序崩溃 描述： 在涉及到multiprocess的python项目中，如果在forked出的process中，调用requests API(i.e. requests.get('...'), 该进程会崩溃。 原因： 根据对代码执行路径的分析，以及issue 和其他网友的记录, 可以判定该bug的出现原因为Mac的libdispatch并不是fork-safe，从而导致在fork出的进程里使用requests出错。 解决方案： 在
爬虫开发基础
03-06
本系列课程的内容包括为：1.基本Http请求以及验证方式分析2.Python用于处理Html格式数据beautifulsoup模块3.Pyhton的requests模块的使用并实现登陆博客园、知乎、github、抽屉等网站4.异步IO模块的使用，如：asyncio、gevent、aiohttp、twisted、torando5.自定义异步IO模块6.Scrapy框架的使用以及应用
requests关闭重定向
a480299053的博客
04-22 1025
requests关闭重定向 在requests请求当中可以添加参数 allow_redirects=False来关闭重定向 但是在关闭重定向后悔产生一个warning 可以添加以下代码关闭警告 from requests.packages.urllib3.exceptions import InsecureRequestWarning # 禁用安全请求警告 requests.packages.ur...
Python Requests中异常总结
热门推荐
李谦的博客
08-07 4万+
1. 连接超时 服务器在指定时间内没有应答，抛出 requests.exceptions.ConnectTimeout requests.get('http://github.com', timeout=0.001) # 抛出错误 requests.exceptions.ConnectTimeout: HTTPConnectionPool(host='github.com', port=80...
python requests请求失败_Python requests多线程抓取请求都报异常无解
weixin_33199783的博客
02-09 1046
主要代码如下：import threadingimport requestsdef get_info():try:res = requests.get('http://www.xxx.com/test/json')if res.status_code == 200 and res.text != '':print res.textelse:print res.status_codetime.sle...
python3.6安装pytorch_安装pytorch相对容易的方法+python3.6版本下+CPU版本
最新发布
05-14
1. 首先，确认你的电脑已安装了 Python 3.6 版本和 pip 工具。 2. 打开命令提示符或终端，输入以下命令安装 PyTorch： ``` pip3 install torch==1.9.0+cpu -f https://download.pytorch.org/whl/torch_stable.html...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值