一个由于python程序fork子进程时复制对象导致的程序锁死的问题

最新推荐文章于 2023-09-16 16:32:25 发布
最新推荐文章于 2023-09-16 16:32:25 发布
阅读量940 收藏
点赞数
分类专栏： python 文章标签： kazoo python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hailwind/article/details/51605755
版权

问题：

项目原来使用配置文件进行部署的，计划改成使用Zookeeper来进行环境配置，于是写了相关的代码，但是测试环境部署的时候发现API服务会卡死不响应服务。

我们是使用的python的wsgi来做API服务的，zk client是使用的python-kazoo库，一通查之后，发现是kazoo的代码卡住的，但是如果不使用singleton对象或者不使用多个worker(子服务进程)就没有问题。

猜测可能是由于zk是为了分布式管理设计的，所以当fork子服务进程的时候把zk client的实例也复制到了子进程，然后这个子进程中的zk client的对象其实是不能用的，因为它的锁等相关的东西是在父进程中。

改程序进行较验，发现的确是这样的，解决方法就是在fork后释放zk client对象

hailwind
关注
专栏目录
【Linux】线程与fork()
lxylxylxy的博客
04-02 257
线程创建子进程和子进程锁的问题
Python中多线程及程序锁浅析
12-25
Python中多线程使用到Threading模块。Threading模块中用到的主要的类是Thread，我们先来写一个简单的多线程代码： 复制代码 代码如下: # coding : uft-8 __author__ = ‘Phtih0n’ import threading class MyThread(threading.Thread):     def __init__(self):         threading.Thread.__init__(self)     def run(self):         global n         print n         n +=
Python中的GIL锁
weixin_43790276的博客
06-08 5776
Python中的GIL锁 在Python中，可以通过多进程、多线程和多协程来实现多任务。 在多线程的实现过程中，为了避免出现资源竞争问题，可以使用互斥锁来使线程同步(按顺序)执行。 但是，其实Python的CPython(C语言实现的)解释器上有一把GIL锁，也就是说Python的程序是处于一个解释器锁的环境中的。 一、GIL介绍 GIL (Global Interperter Lock...
Python笔记-进程Process、线程Thread、上锁
Marlboro
04-17 1330
进程Process、线程Thread、上锁
调试卡死的Python进程
热门推荐
司开星的专栏
08-26 1万+
有时线上程序运行过程中出现卡死（阻塞），无法通过断点或log找到问题，需通过其他方式调试。本文基于CentOS 7。 通用调试方法 查看进程号： ps auxf 查看此进程卡在哪个系统回调： strace -p pid pid替换为实际进程号。此命令会返回一个系统回调和文件操作符。 检查上一条命令系统回调的文件操作符的含义： ls -l /proc/pid/fd 数字就是文件操作...
python打开其他应用程序锁定_Python – 循环锁应用程序
weixin_39680380的博客
12-16 123
既然我明白你想要什么(秒表)我会推荐root.after命令from Tkinter import *import tkMessageBoximport threadingimport timeroot = Tk()root.geometry("450x250+300+300")root.title("Raspberry PI Test")print dir(root)count = 0def s...
python打开一个软件并进行操作_python程序中的进程操作
weixin_39533361的博客
11-23 2316
之前我们已经了解了很多进程相关的理论知识，了解进程是什么应该不再困难了，刚刚我们已经了解了，运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此，运行起来的python程序也是一个进程，那么我们也可以在程序中再创建进程。多个进程可以实现并发效果，也就是说，当我们的程序中存在多个进程的时候，在某些时候，就会让程序的执行速度变快。以我们之前所学的知识，并不能实现创建进程这个功能，所以我...
python多进程与进程间通信：fork()方法和multiprocess实例
Yancy的博客
03-18 3218
目录 fork()方法(windows不可用) 跨平台multiprocessing 进程池Pool 进程间通信 Queue pipe() Manager 注意事项 参考资料 考虑到现在电脑一般都有双核甚至四核的CPU，故可设计算法并行的方法，通过python编程实现并行运算，从而加快处理的速度。虽然没有GPU进行图像算法的并行运算，但是能利用好双核CPU应该也是大有帮助吧！ ...
Python多进程（process）（三）子进程与并行
最新发布
09-16 591
subprocess模块允许你生成新的进程，连接它们的输入、输出、错误管道，并且获取它们的返回码。此模块打算代替一些老旧的模块与功能：os.systemos.spawn*
python多进程卡死_Python 多进程中使用logging导致死锁
weixin_42112685的博客
02-10 1170
这个问题算是个很老问题了，09年的issue一直到现在还是open的状态：https://bugs.python.org/issue6721原因简单的说，如果主进程A中有多个线程A.t1,A.t2...，而其中有一个线程A.t1刚好在logging，此时线程锁是获取状态(对，logging是通过线程锁实现线程安全的)，同时通过另一个线程A.t2 又fork出一个子进程B的话，那么B进程初始化之后，...
超级简单的程序锁.........
02-05
只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！只有几KB的简单程序锁！
多进程编程卡死解决方案
04-16
居于对话框多进程编程，解决ui卡死、刷新问题
【python知识】多进程专题（1）
gongdiwudu的专栏
09-18 6081
multiprocessing 是一个使用类似于 threading 模块的 API 支持生成进程的包。 multiprocessing 包提供本地和远程并发，通过使用子进程而不是线程来有效地避开全局解释器锁。因此，多处理模块允许程序员充分利用给定机器上的多个处理器。它可以在 Unix 和 Windows 上运行。
python简单程序使用signal模块处理僵死进程
06-01 3542
程序一：未使用信号处理程序 #! /usr/bin/python import socket, os """ 简单网络程序，每次连接后派生的子进程终止后都会成为僵死进程 """ serSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) serSock.bind(("", 8888)) serSock.listen(5) w
记录fork子进程执行execl阻塞卡死的问题
duapple的博客
09-18 710
上面的函数是一个线程执行函数，调用这个函数，有概率会出现阻塞的情况。网上翻了一下资料，造成这个的原因是产生了死锁。因为我使用了自己的日志库，日志库里面有互斥锁用来保证输入数据的一致性。当父进程中的线程有调用日志打印函数时，会对互斥锁上锁，在还未解锁的情况，如果这时刚好fork子进程成功，并在子进程中执行日志打印函数的话，这个时候就会发生上面的所说的情况。
Python 同步 上锁解锁过程
qq_30295213的博客
11-22 1466
同步就是协同步调，按预定的先后次序进⾏运⾏ #创建锁  mutex = threading.Lock() #锁定  mutex.acquire([blocking])  #释放 mutex.release() 其中，锁定⽅法acquire可以有⼀个blocking参数。 如果设定blocking为True，则当前线程会堵塞，直到获取到这个锁为⽌ （如果没有指定，那么默认为Tru...
Python并发编程之进程（守护进程、锁、信号量）
路虽远，行则必至！
08-09 917
前言：本博文是对Python并发编程之进程的知识延伸。 友情链接： 浅谈Python多进程中的multiprocessing 浅谈Python多进程中的fork 文章目录一、守护进程1.1 守护进程的概念1.2 守护进程的示例1.3 多个子进程的情况 一、守护进程 1.1 守护进程的概念 首先我们都知道：正常情况下，主进程默认等待子进程调用结束之后再结束，守护进程在主进程所有代码执行完毕之后，自动终止。当然我们也可以使用kill -9 进程号，杀死进程。 那么接下来，我们看一下守护进程的语法： 进程对象
程序锁逻辑
安卓阿哲
01-13 544
之前做的一个程序锁逻辑功能，重新整理了一下，有许多知识点，很不错，值得经常反思学习。 程序锁功能简介： 在app中程序锁界面，罗列app所有已安装app。如果对某个功能加锁，每次打开对应的app就要输入密码， 达到保护隐私的目的。 知识点 在清单文件中增加 gettask权限 新增开关，开启服务、关闭服务 新增service开启看门狗，监视系统运行状态 开启子线程不停循环 activym...
使用函数fork创建新的子进程后子程序需要调用函数执行另一个程序
05-19
要在子进程中调用另一个程序，可以使用exec系列函数。这些函数会替换当前进程的映像，即将当前进程的代码、数据、堆栈等全部替换为指定程序的映像。这样就可以在子进程中执行另一个程序。 exec系列函数包括execl、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值