最近在使用multiprocessing创建多进程的时候,一开始,在主进程内写了一个Redis连接的方法,然后在每个进程中调用,发现最后往Redis(同一个Redis key,Redis采用的是HASH方式)内写入数据时会有数据紊乱的情况,之后尝试了在每个进程中重新实例化Redis连接还是没能解决该问题。猜想可能是Redis不能接受多个进程同时往一个KEY内写入多条数据,想到了一个比较笨也很直接的方法,在每个进程开始之前sleep时间,第一个进程休眠60秒,第二个休眠120,依次类推,成功解决该问题。
虽然问题得到了解决,但是并不是最好的解决方案,期待该问题得到更好的解决方案。
代码大概是这样的
from multiprocessing import Process
import redis
import time
def conn_redis():
"""
conn = redis.Redis('xxx.xxx.xxx.xxx',6379)
return conn
"""
class Test(object):
def fun_a(self):
"""
time.sleep(60)
conn = conn_redis()
while True:
xxxxxx
xxxxxxxxx
xxxxx
conn.hset(xxxx,xxxxxxxx)
time.sleep(xxx + 60)
"""
def fun_b(self):
"""
time.sleep(120)
conn = conn_redis()
while True:
xxxxxx
xxxxxxxxx
xxxxx
conn.hset(xxxx,xxxxxxxx)
time.sleep(xxx + 120)
"""
def fun_c(self):
"""
time.sleep(180)
conn = conn_redis()
while True:
xxxxxx
xxxxxxxxx
xxxxx
conn.hset(xxxx,xxxxxxxx)
time.sleep(xxx + 180)
"""
def fun_d(self):
"""
time.sleep(240)
conn = conn_redis()
while True:
xxxxxx
xxxxxxxxx
xxxxx
conn.hset(xxxx,xxxxxxxx)
time.sleep(xxx + 240)
"""
if __name__ == '__main__':
"""
创建各个线程
"""
s = Test()
f_a = Process(target=s.fun_a)
f_b = Process(target=s.fun_b)
f_c = Process(target=s.fun_c)
f_d = Process(target=s.fun_d)
f_a.start()
f_b.start()
f_c.start()
f_d.start()
f_a.join()
f_b.join()
f_c.join()
f_d.join()
打赏
如果您觉得不错,请打赏作者吧~