在Pyqt5中通过共享内存在线程间传递高分辨率图像

0 前言

  上周导师分配了一个任务，要求做一个监控软件，包括监控画面显示，相机焦距控制和目标检测。这周差不多都弄完了，写篇文章记录一下。
  本文主要介绍过程当中的一个问题与解决办法：将网络摄像头获取的高分辨率图像作为信号直接发送给 UI 主线程时，整个程序会崩溃退出。最终通过共享内存的方式实现线程之间传递高分辨率图像（2560×1440）。

上文中程序崩溃退出时没有报错信息，至今不知道具体是什么原因，欢迎在评论区交流讨论！

  直接上演示效果！

演示效果图中有额外的内容没有写在2 关键代码介绍中，可以查看完整代码，不过大家如果感兴趣的话我可以再写一篇来介绍~

愿此行，终抵群星！

1 基本概念介绍（TODO）

2 关键代码介绍

2.1 整体框架

  工程的其他部分与本文无关，故以下仅介绍与显示监控画面有关的程序，完整代码可以私信或评论区留言，我通过邮箱发送给大家~
  程序整体由两个线程组成，主线程为 UI 线程，子线程为帧获取线程。子线程获取一帧图像后，会将其存储于共享内存中，并将共享内存的名称与大小作为信号传递给 UI 线程，UI 线程从共享内存中读取这一帧图像并显示。示意图如下。

2.2 关键代码

  再次强调，以下只是关键代码，直接运行可能发生错误！完整代码私信或评论区留言，我会通过邮件发送给您的！
  另外，代码中使用了两种在线程间传输图像的方式：相机正常连接状态下通过共享内存，相机断联状态下直接传输，可供大家参考。

2.2.1 UI （主）线程

  这个线程主要负责 UI 的初始化与更新，以及一些信号的响应。主要代码我都注释了，仍有不明白的可以在评论区讨论~

UI_FILEPATH = "YOUR_UI_FILEPATH"
CAMERA_URL = "YOUR_CAMERA_URL"
# 首先为主窗口创建一个类
class CAMERA_THREADS_APP(QtWidgets.QMainWindow):
	def __init__(self):
		super().__init__()  # 调用父类 QtWidgets.QMainWindow 的初始化方法，确保 MainWindow 初始化正确
		self.ui = uic.loadUi(UI_FILEPATH , self)  # 加载由 Designer 生成的 ui 文件
		self.camra_url = CAMERA_URL  # 配置网络摄像机 url
		self.thread = {}  # 建立线程池
		
		# 关联信号
		# connectButton 是 ui 文件中控制按键的名称（objectName）
		self.connectButton.clicked.connect(self.toggle_camera_thread)
	
	def toggle_camera_thread(self):
		# 开启和关闭线程通过同一个按键实现
    	if self.connectButton.text() == '连接':
      		self.start_camera_thread()
    	else:
      		self.stop_camera_thread() 
      		
    def start_camera_thread(self):
    	self.connectButton.setEnabled(False)  # 开启线程之前不允许再次摁下

    	self.camera_url = self.cameraUrlEdit.text()
    	self.thread[1] = CameraThreadClass(rtsp_url=self.camera_url, parent=None, index=1)
    	# camera 正常连接状态下，camera_frame_sig 信号触发时，show_frame 函数将被调用
    	self.thread[1].camera_frame_sig.connect(self.show_frame)
    	# camera 断联状态下，camera_disconnected_sig 信号触发时，show_no_signal 函数将被调用
    	self.thread[1].camera_disconnected_sig.connect(self.show_no_signal)
    	self.thread[1].log_update_sig.connect(self.print_log)  # 有需要打印的调试信息时，调用 print_log 函数
    	self.thread[1].start()
    
    	self.connectButton.setText('断开')
    	self.connectButton.setEnabled(True)

  def stop_camera_thread(self):
    	self.connectButton.setEnabled(False)  # 关闭线程之前不允许再次摁下
      
    	self.thread[1].stop()
    	self.thread[1] = None
      
    	self.connectButton.setText('连接')
    	self.connectButton.setEnabled(True)
	def show_frame(self, shm_name, frame_width, frame_height):
    	try:
      	# 读出共享内存里的数据并保存为 array 类型
      	existing_shm = shared_memory.SharedMemory(name=shm_name)
      	image_shape = (frame_height, frame_width, 3)
      	frame_array = np.ndarray(image_shape, dtype=np.uint8, buffer=existing_shm.buf)
		
		# 将 array 转换为 QImage 类型
      	frame = QtGui.QImage(frame_array.data, frame_array.shape[1], frame_array.shape[0], QtGui.QImage.Format_RGB888)
      	frame = frame.scaled(self.label.width(), self.label.height(), QtCore.Qt.KeepAspectRatio, QtCore.Qt.SmoothTransformation)
		# 将 QImage 转换为 QPixmap 类型，这样才能通过 label.setPixmap() 显示
      	frame = QtGui.QPixmap.fromImage(frame)
      	self.label.setPixmap(frame)

      	existing_shm.close()  # 释放共享内存资源
		
		# show_frame 函数执行时，共享内存可能已经在帧获取线程中被删除了
		# 捕获这个错误即可，不影响整体功能
		# 当然，可以在这里再删除共享内存
    	except FileNotFoundError:
    		# 这里以及之后的 log 是因为我在 ui 中放了一个 QTextBrowser 来打印调试信息
    		# 直接在终端 print 完全没有影响~
        	log = 'Main Thread: [error] Shared memory not found.'
        	self.print_log(log)
    	except Exception as e:
        	log = f'Main Thread: [error] {str(e)}'
        	self.print_log(log)
     
	def print_log(self, log):
    	self.logBrowser.append(log)

2.2.2 帧获取线程

  主要负责从网络摄像头获取一帧的数据并存储进共享内存当中。

class CameraThreadClass(QtCore.QThread):
	# 创建信号
	camera_disconnected_sig = QtCore.pyqtSignal(QtGui.QImage)  # 相机离线时发送的信号，带一个 QImage 类型的参数，即直接传输图像（因为离线状态下要显示的 Icon 较小）
	camera_frame_sig = QtCore.pyqtSignal(str, int, int)  # 相机正常连接时发送的信号，共 3 个参数，第一个为 str 类型，代表共享内存的名称；第二个为 int 类型，代表图像的 width；第三个为 int 类型，代表图像的 height。结合第二个和第三个参数可以确定共享内存的大小
	log_update_sig  = QtCore.pyqtSignal(str)  # 调试信息

  def __init__(self, rtsp_url, parent=None, index=0):
    super(CameraThreadClass, self).__init__(parent)
    self.index = index  # 给每个线程都设一个索引，方便管理
    self.rtsp_url = rtsp_url  # 相机 url
    self.cap = None
    self.is_running = True  # 用于跟踪线程的运行状态
    self.frame = np.ones((1440, 2560, 3), dtype=np.uint8)   # 用于保存图像 H * W * C
    # 开辟共享内存
    self.shm = shared_memory.SharedMemory(name='image2display', create=True, size=self.frame.nbytes)
    self.shm_name = self.shm.name

  def run(self):
    log = 'Thread' + '[' + str(self.index) + '](CameraThread): ' + 'Thread starting...'
    self.log_update_sig.emit(log)
    try:
      self.cap = cv2.VideoCapture(self.rtsp_url)  # 读取视频流

      while self.cap.isOpened() and self.is_running:  # 当视频流被打开，且没有下发进程终止指令时
        time.sleep(0.001)  # 给相机足够的时间把帧数据写进缓存里

        ret, frame = self.cap.read()  # 将读取道德某一帧存储到 frame，如果读取成功，则 ret 为 True，反之为 False

        if ret:  # 读取成功
          frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)  

          # 将图像数据复制到共享内存
          np_shm = np.ndarray(frame.shape, dtype=frame.dtype, buffer=self.shm.buf)
          np.copyto(np_shm, frame)

          # 发射信号，传递共享内存的名称以及图像的宽度和高度
          self.camera_frame_sig.emit(self.shm_name, frame.shape[1], frame.shape[0])

    except Exception as e:
      self.log_update_sig.emit(f'CameraThread error: {str(e)}')

    finally:
      self.cleanup()

    if self.is_running == False:
      frame = QtGui.QImage('./demo2_camera/icon/3_NoSignal.png')
      self.camera_disconnected_sig.emit(frame)
    
      log = f'Thread[{self.index}](CameraThread): [Info] Camera disconnected.'
      self.log_update_sig.emit(log)

      self.cleanup()

  def cleanup(self):
    if self.cap:
      self.cap.release()
    if self.shm:
      self.shm.close()
      self.shm.unlink()

  def stop(self):
    self.is_running = False

    log = f'Thread[self.index)](CameraThread): [info] Thread stopping...'
    self.log_update_sig.emit(log)

    self.quit()
    self.wait()  # 等待从 run() 函数的返回

3 总结与唠嗑环节

  Pyqt5 的信号机制是基于队列的，在传递大图像时确实可能遇到问题，还是尽量不要在线程间传递过大的信号吧！具体的原理我也没有深入研究，有大佬路过的还请指点一二，感激不尽！
  非常感谢大家看到这里，下面是一点乐子，我交付的时候忘记把标志改掉了…

只能说，我们穹批是这样的