使用YOLOv3（Python - Keras）实时检测屏幕画面进行目标检测教程（以检测GTA5游戏画面为例子）

毕业设计项目做了一个在游戏GTA5中实现自动驾驶的项目，其中一个功能是汽车的碰撞检测。为了实现这个功能我首先需要能实现识别汽车，对比了使用了SSD和Faster-RCNN，我选择了YOLOv3来实现这个功能，因为它既有速度又有精度，还非常灵活，简直是工业界良心。

当时在网上查阅相关教程的时候，很多教程只是讲到调用一下文件实现视频文件的检测。然而我需要对屏幕上显示的游戏画面进行检测，所以很多教程都不适用。

现在毕设做好了比较空闲，所以记录一下顺便帮助后来人，这个教程会讲如何用YOLOv3检测屏幕上的画面。

 

本文旨在帮助新手快速上手YOLOv3，不会涉及详细的代码和相应的算法原理，具体YOLO的原理等以后有时间再写篇详细的~

 

1、下载YOLOv3的Keras版（https://github.com/qqwweee/keras-yolo3） 里面有成熟的代码。

2、生成Keras的.h5文件，

需要：

•  1. yolo网络结构配置文件 .cfg ,如 yolov3.cfg
•  2. yolo训练好的权重文件 .weights ,如 yolov3.weights

权重文件：https://pjreddie.com/media/files/yolov3.weights，此权重文件包含一些预训练的参数。

网络结构配置文件：项目默认自带了YOLOv3-416的网络的.cfg。如果需要其他网络，则以txt文件打开.cfg文件，将第8行和第9行的参数修改为320或608。

下图为各种YOLOv3版本的准确度和速度对比，根据自己项目的准确度和速度需求，选择自己的网络（改那个.cfg）

下面为官网对比（https://pjreddie.com/darknet/yolo/）

 

下载好上述两个文件后，将权重文件放到项目根目录下

3、运行convert.py，将 yolov3.weights转换成Keras能使用的.h5文件

使用方法：

python convert.py yolov3.cfg yolov3.weights yolov3.h5

执行完成示意图

执行完成之后在当前目录下生成yolov3.h5文件，将其重命名为yolo.h5并放入model_data文件夹中。

4、新建grabscreen.py文件，复制以下内容，此文件里实现用Win32API截取屏幕。相比于使用PIL，这种方式截屏速度更快

import cv2
import numpy as np
import win32gui
import win32ui
import win32con
import win32api


def grab_screen(region=None):

    hwin = win32gui.GetDesktopWindow()

    if region:
        left, top, x2, y2 = region
        width = x2 - left + 1
        height = y2 - top + 1
    else:
        width = win32api.GetSystemMetrics(win32con.SM_CXVIRTUALSCREEN)
        height = win32api.GetSystemMetrics(win32con.SM_CYVIRTUALSCREEN)
        left = win32api.GetSystemMetrics(win32con.SM_XVIRTUALSCREEN)
        top = win32api.GetSystemMetrics(win32con.SM_YVIRTUALSCREEN)


    hwindc = win32gui.GetWindowDC(hwin)
    srcdc = win32ui.CreateDCFromHandle(hwindc)
    memdc = srcdc.CreateCompatibleDC()
    bmp = win32ui.CreateBitmap()
    bmp.CreateCompatibleBitmap(srcdc, width, height)
    memdc.SelectObject(bmp)
    memdc.BitBlt((0, 0), (width, height), srcdc, (left, top), win32con.SRCCOPY)

    signedIntsArray = bmp.GetBitmapBits(True)
    img = np.fromstring(signedIntsArray, dtype='uint8')
    img.shape = (height, width, 4)

    srcdc.DeleteDC()
    memdc.DeleteDC()
    win32gui.ReleaseDC(hwin, hwindc)
    win32gui.DeleteObject(bmp.GetHandle())

    return cv2.cvtColor(img, cv2.COLOR_BGRA2RGB)

5、新建example.py文件，复制以下内容 ，并运行。

import numpy as np
import cv2
import time
from grabscreen import grab_screen
from PIL import Image
from yolo import YOLO
import tensorflow as tf

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.8   #爆显存的话可以在此调整程序的显存占用情况
session = tf.Session(config=config)

yolo = YOLO()

while True:

    image_array = grab_screen(region=(0, 0, 1280, 720))
    # 获取屏幕，(0, 0, 1280, 720)表示从屏幕坐标（0,0）即左上角，截取往右1280和往下720的画面
    array_to_image = Image.fromarray(image_array, mode='RGB') #将array转成图像，才能送入yolo进行预测
    img = yolo.detect_image(array_to_image)  #调用yolo文件里的函数进行检测

    img = np.asarray(img) #将图像转成array

    cv2.imshow('window',cv2.cvtColor(img, cv2.COLOR_BGR2RGB))  #将截取的画面从另一窗口显示出来，对速度会有一点点影响，不过也就截取每帧多了大约0.01s的时间
    if cv2.waitKey(25) & 0xFF == ord('q'):  #按q退出，记得输入切成英语再按q
        cv2.destroyAllWindows()
        break

6、检测结果：

左边为GTA5的游戏画面，右边为检测结果，使用一个窗口显示出来