使用opencv-python制作屏幕录制工具

最近有在使用屏幕录制软件录制桌面，在用的过程中突发奇想，使用python能不能做屏幕录制工具，也锻炼下自己的动手能力。
接下准备写使用python如何做屏幕录制工具的系列文章：

• 录制屏幕制作视频
• 录制音频
• 合成视频，音频
• 基于pyqt5制作可视化窗口

大概上述四个部分，希望自己能够尽快完善，接下来开始使用python制作屏幕录制部分。

应用平台

• windows 10
• python 3.7

屏幕录制部分

屏幕录制可以简单地理解为将屏幕快照以动图的形式播放，这里我选用PIL下的ImageGrab来截取屏幕画面，首先
pip install Pillow
之后需要将截取到的快照数组合成为视频，使用cv2模块
pip install opencv-python
ImageGrab类不能直接存储为视频，使用numpy模块进行数组化，再通过cv2.COLOR_BGR2RGB转换为cv2色彩通道。
pip install numpy
屏幕录制主要代码：

import numpy as np
from PIL import ImageGrab
import cv2

im = ImageGrab.grab()
width, high = im.size  # 获取屏幕的宽和高
fourcc = cv2.VideoWriter_fourcc(*'I420')  # 设置视频编码格式
fps = 15  # 设置帧率
video = cv2.VideoWriter('test.avi', fourcc, fps, (width, high))
while True:  # 开始录制
    im = ImageGrab.grab()
    im_cv = cv2.cvtColor(np.array(im), cv2.COLOR_BGR2RGB)
    # 图像写入
    video.write(im_cv)
    if xx:  # 当某某条件满足中断循环
        break
video.release()  # 释放缓存，持久化视频

测试运行可以保存屏幕快照为视频，但操作起来不优雅，也不利于后续的操作。
封装成类，继承线程父类，方便使用键盘来控制视频录制的结束。

from threading import Thread

class ScreenshotVideo(Thread):

    def __init__(self):
	    """初始化参数"""
        super().__init__()

详细代码将在文末给出。

计算视频最优fps及使用numpy计算中间帧数组

在这里有必要提及下帧率对观看的影响，每秒保存的图片数量多少即帧率，越多播放的越快，越少就会类似于幻灯片，会有明显的卡顿现象，观感就较差，当每秒存放图片越多且相邻的图片数据越相近但不一致的情况下，就会感觉很流畅。
实际操作中视频录制在不同电脑中，由于性能不同会出现不一样的帧率，导致视频播放或快或慢，需要根据不同的电脑计算出相应的最优fps值，也可设定一个相对较为稳定且能满足正常观看的帧率值。

def video_best_fps(self, path):
    """获取电脑录制视频的最优帧率"""
    video = cv2.VideoCapture(path)  # 读取视频
    fps = video.get(cv2.CAP_PROP_FPS)  # 获取当前视频的帧率
    count = video.get(cv2.CAP_PROP_FRAME_COUNT)  # 获取视频帧数，即该视频有多少幅画面
    self.best_fps = int(fps * ((int(count) / fps) / self.spend_time))   # 计算播放时间与录制时间对比得到最优帧率
    video.release()

再调整帧率参数进行录制视频就减弱了视频播放太快或者太慢，设定帧率来调整视频的播放快慢不失为一个好的方法；
当然也可以给视频增加帧数从而延长播放时间，这里我采用一种很简单的方法增加视频帧，仅供参考。

from numba import jit

# 使用numpy计算相邻两帧图像且更接近于后一帧的图像
# 调用jit方法加速数组计算
@jit(nopython=True)
def average_n(x, y):
    """Numpy计算趋近值"""
    return ((x + y + y) // 3).astype(x.dtype)

该方法仅针对于设置的fps比最优fps要高时，处理后的视频观感，视频还是较为急促，但是细节帧增多，所以播放时长会比未处理前的要长，略有残影。

使用pynput监听键盘按键

在视频录制中，并不知道视频何时结束，所以用while循环包裹录制代码，但也不可能让代码无休止的运行下去，在此使用监听键盘模块来中断录制代码的运行。

from pynput import keyboard  # pip install pynput

def hotkey(self):
    """热键监听"""
    with keyboard.Listener(on_press=self.on_press) as listener:
        listener.join()

def on_press(self, key):
    try:
        if key.char == 't':  # 录屏结束，保存视频
            self.flag = True
        elif key.char == 'k':  # 录屏中止，删除文件
            self.flag = True
            self.kill = True
    except Exception as e:
        print(e)

按下键盘“T”键时，结束录制，保存视频。“K”键则是停止录制，删除缓存文件。

如何保存MP4格式视频

视频编码格式应该为(‘a’, ‘v’, ‘c’, ‘1’)，文件后缀为’.mp4’，在录制前先去https://github.com/cisco/openh264/releases下下载对应平台的dll.bz2文件，将压缩包解压放在项目文件夹下。

再运行代码，成功会出现一行编码说明：
OpenH264 Video Codec provided by Cisco Systems, Inc.

总结

目前使用了opencv和相关模块对屏幕进行录制并转换为视频保存，学习将多个函数封装为类，方便后续功能开发。学习的道路是无止境的，大胆的迈步走吧！

---

于二零二一年十二月十四日作

源码:

import time
from PIL import ImageGrab
import cv2
from pathlib import Path
import numpy as np
from numba import jit
from pynput import keyboard
from threading import Thread


@jit(nopython=True)
def average_n(x, y):
    """Numpy计算趋近值"""
    return ((x + y + y) // 3).astype(x.dtype)


class ScreenshotVideo(Thread):

    def __init__(self, width, high, path='', fps=15):
        """初始化参数"""
        super().__init__()
        self.save_file = path
        self.best_fps = fps
        self.fps = fps
        self.width = width
        self.high = high
        self.spend_time = 1
        self.flag = False
        self.kill = False
        self.video = None

    def __call__(self, path):
        """重载视频路径，便于类的二次调用"""
        self.save_file = Path(path)
        self.video = self.init_videowriter(self.save_file)

    @staticmethod
    def screenshot():
        """静态方法，屏幕截图，并转换为np.array数组"""
        return np.array(ImageGrab.grab())

    @staticmethod
    def get_fourcc(name):
        """视频编码字典"""
        fourcc_maps = {'.avi': 'I420',
                       '.m4v': 'mp4v',
                       '.mp4': 'avc1',
                       '.ogv': 'THEO',
                       '.flv': 'FLV1',
                       }
        return fourcc_maps.get(name)

    def init_videowriter(self, path):
        """获取视频编码并新建视频文件"""
        if not path:
            raise Exception('视频路径未设置，请设置\nvideo = ScreenshotVideo(fps,width,high)\nvideo = video(video_path)')
        path = Path(path) if isinstance(path, str) else path
        fourcc = cv2.VideoWriter_fourcc(*self.get_fourcc(path.suffix))
        return cv2.VideoWriter(path.as_posix(), fourcc, self.fps, (self.width, self.high))

    def video_record_doing(self, img):
        """将BGR数组转换为RGB数组"""
        im_cv = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        self.video.write(im_cv)

    def video_record_end(self):
        """录制结束，根据条件判断文件是否保存"""
        self.video.release()
        cv2.destroyAllWindows()
        if self.save_file and self.kill:
            Path(self.save_file).unlink()

    def video_best_fps(self, path):
        """获取电脑录制视频的最优帧率"""
        video = cv2.VideoCapture(path)
        fps = video.get(cv2.CAP_PROP_FPS)
        count = video.get(cv2.CAP_PROP_FRAME_COUNT)
        self.best_fps = int(fps * ((int(count) / fps) / self.spend_time))
        video.release()

    def pre_video_record(self):
        """预录制，以获取最佳fps值"""
        self.video = self.init_videowriter('test.mp4')
        start_time = time.time()
        for _ in range(10):
            im = self.screenshot()
            self.video_record_doing(im)
        self.spend_time = round(time.time() - start_time, 4)
        self.video_record_end()
        time.sleep(2)
        self.video_best_fps('test.mp4')
        Path('test.mp4').unlink()

    def insert_frame_array(self, frame_list):
        """Numpy增强截图信息"""
        fps_n = round(self.fps / self.best_fps)
        if fps_n <= 0:
            return frame_list
        times = int(np.log2(fps_n))  # 倍率
        for _ in range(times):
            frame_list2 = map(average_n, [frame_list[0]] + frame_list[:-1], frame_list)
            frame_list = [[x, y] for x, y in zip(frame_list2, frame_list)]
            frame_list = [j for i in frame_list for j in i]
        return frame_list

    def frame2video_run(self):
        """使用opencv将连续型截图转换为视频"""
        self.video = self.init_videowriter(self.save_file)
        start_time = time.time()
        frame_list = []
        while True:
            frame_list.append(self.screenshot())
            if self.flag:
                break
        self.spend_time = round(time.time() - start_time, 4)
        if not self.kill:  # 视频录制不被终止将逐帧处理图像
            frame_list = self.insert_frame_array(frame_list)
            for im in frame_list:
                self.video_record_doing(im)
        self.video_record_end()

    def hotkey(self):
        """热键监听"""
        with keyboard.Listener(on_press=self.on_press) as listener:
            listener.join()

    def on_press(self, key):
        try:
            if key.char == 't':  # 录屏结束，保存视频
                self.flag = True
            elif key.char == 'k':  # 录屏中止，删除文件
                self.flag = True
                self.kill = True
        except Exception as e:
            print(e)

    def run(self):
        # 运行函数
        # 设置守护线程
        Thread(target=self.hotkey, daemon=True).start()
        # 运行截图函数
        self.frame2video_run()


screen = ImageGrab.grab()
width, high = screen.size
video = ScreenshotVideo(width, high, fps=60)
video.pre_video_record()  # 预录制获取最优fps
video('test1.mp4')
video.run()