使用Python+OpenCV实现打乒乓球游戏

CodeBullet是我最喜欢的YouTuber之一，他曾经尝试创建一个人机对战的乒乓球游戏，但遗憾的是，对于他的成果没有对计算机视觉有太大影响。他是个很幽默及技术很强的人，如果你考虑阅读这篇文章的其余部分，我强烈建议你观看他的视频。

• https://www.youtube.com/watch?v=tcymhYbRvw8&

人机对战的乒乓球游戏似乎是一个非常有趣且简单的任务，所以我也想尝试一下。在这篇文章中，我将概述一些我对该项目研究过的一些因素，如果你希望在任何类似的项目上工作，这些因素可能会有所帮助。

使用计算机视觉的好处在于我可以使用已经构建的游戏来处理图像。话虽如此，我们将使用在ponggame.org上且CodeBullet相同的游戏版本。它具有2人模式，因此我可以与自己的AI对抗；我做到了，这确实很难……

• https://www.ponggame.org/

捕捉屏幕

第一件事就是捕捉屏幕。我想确保我的帧速率尽可能快，为此我发现MSS是一个很棒的python包。有了它，我很容易就达到60帧/秒的最高速度，如果使用PIL，则我只能得到大约20帧每秒的速度。

• MSS：https://pypi.org/project/mss/

Paddle detection

为了简单起见，我们需要定义paddle的位置。我们可以使用几种不同的方法来完成，但我认为最简单的方法是对每个Paddle的区域进行遮罩，然后运行连接的组件来找到Paddle对象。下面是一段代码：

def get_objects_in_masked_region(img, vertices,  connectivity = 8):    ''':return connected components with stats in masked region    [0] retval number of total labels 0 is background    [1] labels image    [2] stats[0] leftmostx, [1] topmosty, [2] horizontal size, [3] vertical size, [4] area    [3] centroids    '''    mask = np.zeros_like(img)    # fill the mask    cv2.fillPoly(mask