【小应用】使用TensorFlow目标检测模型和OpenCV分析足球比赛

  本文是翻墙阅读其他博客的翻译

一、引言

  作为数据科学家，我们有机会对足球视频剪辑做一些分析，使用深度学习和opencv可以在视频剪辑中提取一些有趣的见解。我们可以检测所有球员+裁判员+足球，还可以根据球衣的颜色预测球员所在的球队，这些都可以实时完成

  原作者项目代码：https://github.com/priya-dwivedi/Deep-Learning/blob/master/soccer_team_prediction/soccer_realtime.ipynb
  修改后的pycharm可运行代码：https://github.com/wangwangwang97/blog_application

二、步骤概述

  TensorFlow目标检测API是一个非常强大的资源，能够用来快速构建目标检测模型。如果你不熟悉这个API你可以参考以下博客，分别介绍了API和如何使用这个API构建一个自定义模型：
  TensorFlow目标检测API介绍
  使用TensorFlow目标检测API构建自定义模型
  API提供了一些在COCO数据集上预训练的目标检测模型，COCO数据集包含90个类别的对象，以下是COCO数据集对象类别的一部分：

  在本例中，我们关注的是人和足球这两种类别，并且这两个类别也是COCO数据集能够检测到的类别。
  API拥有大量的预训练模型，以下是一部分预训练模型作为参考：

  这些模型在速度和精度之间做出权衡，因为我更关注实时分析，因此我选择了SSDLite mobilenet v2。
  一旦使用目标检测API识别了球员，我们可以使用OpenCV预测球员所在的球队，OpenCV是一个强大的图像处理库。如果你是OpenCV的初学者，可以查看以下教程：
  OpenCV教程
  OpenCV允许我们识别特定颜色的蒙版，因此我们可以使用它来是识别红色球员和黄色球员。例下图显示了OpenCV蒙版如何工作用于检测图片中的红色：

三、深入探讨主要步骤

  接下来详细研究代码细节
  如果你是第一次使用TensorFlow目标检测API，请从链接下载GitHub ，并使用说明安装所有的依赖项。
  如果你没有任何OpenCV的设置，请使用本教程从源码进行构建。
  我的主要步骤是:

• 将SSDLite mobilenet模型加载到TensorFlow图（groph）中，并加载COCO数据集的对象类别列表。
• 使用cv2.VideoCapture(filename)打卡视频，并且逐一读取视频的每一帧。
• 对于每一帧，使用加载的TensorFlow图（graph）执行目标检测。
• SSDLite返回的结果是类别、置信度分数、边界框。根据每个框的置信度，置信度>0.6的被保留。
• 现在已经检测到每个球员，我们需要做的就是读取他们球衣的颜色并且预测他们是澳大利亚球员还是秘鲁球员。首先定义红色和黄色的颜色范围，然后我们使用cv2.inRange和cv2.bitwise创建这些颜色的蒙版，为了检测球员队伍，计算检测到的红色和黄色像素的数量和相对于图像像素的百分比。
• 最后将所有的功能代码整合在一起，同时运行，并使用cv2.imshow展示结果。

四、结论和参考

  你可以看到通过简单的深度学习和OpenCV结合就可以实现有趣的结果。现在有了这些视频数据，有很多方法获得更有趣的见解：

• 使用澳大利亚目标区域的相机视角，你可以计算该区域有多少秘鲁玩家与澳大利亚玩家。
• 可以绘制每个球队足迹的热图-例秘鲁团队占用率高的区域是什么。
• 你可以画出守门员的足迹
    目标检测API还提供了更准确但速度较慢的其他模型。您也可以尝试这些。