python多进程共享变量使用技巧

python中多进程共享内存主要有multiprocessing.Manager()、 multiprocessing的shared_memory的方法，这两种方法都是python内置模块，其中shared_memory是python3.8之后新加入的功能，如果使用必须要用python3.8以上的版本。以下介绍两种方式的区别：

1.multiprocessing.Manager()

有多个数据类型可以使用，包括Manager支持的类型有list,dict,Namespace,Lock,RLock,Semaphore,BoundedSemaphore,Condition,Event,Queue,Value和Array，等数据类型。

示例代码段：

# -*- coding:utf-8 -*-
from multiprocessing import Process, Manager
import time
import random
def kkk(a_list, number):
  for i in range(10):
    a_list.append(i)
    time.sleep(random.randrange(2))
    print('这是进程{} {}'.format(number, a_list))
  print('这是进程{} {}'.format(number, a_list))
def jjj(a_list):
  for i in range(2):
    process = Process(target=kkk, args=(a_list, i))
    process.start()
if __name__ == '__main__':
  manager = Manager()
  a_list = manager.list()
  # a_list = []
  process_0 = Process(target=jjj, args=(a_list,))
  process_0.start()
  process_0.join()
  print(a_list)
  print(len(a_list))
  print('it\'s ok')

2.shared_memory和shareableList

 SharedMemory 用于多核或对称多处理器（SMP）计算机上的一个或多个进程访问的共享内存的分配和管理。为了帮助共享内存的生命周期管理，特别是在不同的进程中，一个 BaseManager 子类， SharedMemoryManager ，也在 multiprocessing.managers 模块。

在这个模块中，共享内存指的是“SystemV样式”的共享内存块（尽管不一定要这样明确地实现），而不是“分布式共享内存”。这种类型的共享内存允许不同的进程潜在地读写到易失性内存的公共（或共享）区域。通常情况下，进程只能访问自己的进程内存空间，但共享内存允许进程之间共享数据，从而避免了在包含该数据的进程之间发送消息的需要。与通过磁盘或套接字或其他需要数据序列化/反序列化和复制的通信共享数据相比，直接通过内存共享数据可以提供显著的性能优势。

示例代码：

from multiprocessing import shared_memory
shm_a = shared_memory.SharedMemory(create=True, size=10)
type(shm_a.buf)
<class 'memoryview'>
buffer = shm_a.buf
len(buffer)
10
buffer[:4] = bytearray([22, 33, 44, 55])  # Modify multiple at once
buffer[4] = 100                           # Modify single byte at a time
# Attach to an existing shared memory block
shm_b = shared_memory.SharedMemory(shm_a.name)
import array
array.array('b', shm_b.buf[:5])  # Copy the data into a new array.array
array('b', [22, 33, 44, 55, 100])
shm_b.buf[:5] = b'howdy'  # Modify via shm_b using bytes
bytes(shm_a.buf[:5])      # Access via shm_a
b'howdy'
shm_b.close()   # Close each SharedMemory instance
shm_a.close()
shm_a.unlink()  # Call unlink only once to release the shared memory

3.总结对比

我通过实验对比，总结了以下经验：

1 sharedMemory和shareableList本质上是同一种实现机制，都会随共享内存空间增大，访问时间明显增大；multiprocessing.Manager()随共享内存空间增大，访问时间几乎不变。

2 shareableList只支持小缓存（10M以内），且相同缓存大小情况下，shareableList效果比Manager好10倍

3 需共享内存空间较小部分，推荐用shareableList；需共享内存空间较大部分，推荐用Manager

如果你有了解的更好的python多进程共享机制，可以在下方评论告诉我。