python多进程的坑_python多进程操作redis踩过的坑

最近在使用multiprocessing创建多进程的时候，一开始，在主进程内写了一个Redis连接的方法，然后在每个进程中调用，发现最后往Redis(同一个Redis key，Redis采用的是HASH方式)内写入数据时会有数据紊乱的情况，之后尝试了在每个进程中重新实例化Redis连接还是没能解决该问题。猜想可能是Redis不能接受多个进程同时往一个KEY内写入多条数据，想到了一个比较笨也很直接的方法，在每个进程开始之前sleep时间，第一个进程休眠60秒，第二个休眠120，依次类推，成功解决该问题。

虽然问题得到了解决，但是并不是最好的解决方案，期待该问题得到更好的解决方案。

代码大概是这样的

from multiprocessing import Process

import redis

import time

def conn_redis():

"""

conn = redis.Redis('xxx.xxx.xxx.xxx',6379)

return conn

"""

class Test(object):

def fun_a(self):

"""

time.sleep(60)

conn = conn_redis()

while True:

xxxxxx

xxxxxxxxx

xxxxx

conn.hset(xxxx,xxxxxxxx)

time.sleep(xxx + 60)

"""

def fun_b(self):

"""

time.sleep(120)

conn = conn_redis()

while True:

xxxxxx

xxxxxxxxx

xxxxx

conn.hset(xxxx,xxxxxxxx)

time.sleep(xxx + 120)

"""

def fun_c(self):

"""

time.sleep(180)

conn = conn_redis()

while True:

xxxxxx

xxxxxxxxx

xxxxx

conn.hset(xxxx,xxxxxxxx)

time.sleep(xxx + 180)

"""

def fun_d(self):

"""

time.sleep(240)

conn = conn_redis()

while True:

xxxxxx

xxxxxxxxx

xxxxx

conn.hset(xxxx,xxxxxxxx)

time.sleep(xxx + 240)

"""

if __name__ == '__main__':

"""

创建各个线程

"""

s = Test()

f_a = Process(target=s.fun_a)

f_b = Process(target=s.fun_b)

f_c = Process(target=s.fun_c)

f_d = Process(target=s.fun_d)

f_a.start()

f_b.start()

f_c.start()

f_d.start()

f_a.join()

f_b.join()

f_c.join()

f_d.join()

打赏

如果您觉得不错，请打赏作者吧～