Qt 中获取摄像头图像数据的方法

Qt 中获取摄像头图像数据的方法

在 Qt 中提供了 QCamera 类用来操作摄像头。（这里的摄像头指的是电脑上常用的那种 USB 摄像头或网络摄像头，暂时还不支持工业相机。）摄像头获取的实时图像可以显示在 QCameraViewfinder 或 QGraphicsVideoItem 上，QCameraImageCapture 可以获取静态的图像，QMediaRecorder 可以用来录像。

用这些现有的组件可以很方便的完成一些基本的相机操作。但是如果我们做的更深入点，比如做个人脸识别、美颜处理一类的就不够用了。这时我们就需要获取相机的每一帧实时图像数据。

在 Qt 中，实现这个功能有两种主要的方法，一种是写一个派生自 QAbstractVideoSurface 的类。第二个方法是用 QVideoProbe。采用 QVideoProbe 比 第一种方法要简单。
但是按照 https://wiki.qt.io/Qt_5.7_Multimedia_Backends 上面的说法：

QVideoProbe support:
Android: only for camera
Blackberry: no support
iOS: no support
Linux: only for media player
Mac: no support
Windows: only for media player

QVideoProbe 暂时只在 android 平台上支持 QCamera。所以我们这篇文章主要来讲第一种方法。

QAbstractVideoSurface 是个纯虚类。要派生一个类需要我们实现两个函数。
* bool present(const QVideoFrame &frame);
* QList supportedPixelFormats(QAbstractVideoBuffer::HandleType type = QAbstractVideoBuffer::NoHandle) const

我们派生的类叫做 CameraImage，那么这个类的头文件可以这样。

class CameraImage : public QAbstractVideoSurface
{
    Q_OBJECT
public:
    QList<QVideoFrame::PixelFormat> supportedPixelFormats(
            QAbstractVideoBuffer::HandleType handleType = QAbstractVideoBuffer::NoHandle) const override;
    explicit CameraImage(QObject *parent = 0);
    void setVideoFrame(const QVideoFrame &frame);
private slots:
    bool present(const QVideoFrame &frame) override;
private:
    void setRGB24Image(const uint8_t *imgBuf, QSize size);
    void setRGB32Image(const uint8_t *imgBuf, QSize size);
    void setMono8Image(const uint8_t *imgBuf, QSize size);
    void setYUY2Image(const uint8_t *imgBuf, QSize size);
    void setVYUYImage(const uint8_t *imgBuf, QSize size);
    void setUYVYImage(const uint8_t *imgBuf, QSize size);
    QImage m_image;
};

这个类中的 m_image 就是用来存放相机图像数据的。相机采集的每一帧数据都会放到这里，供进一步处理。

supportedPixelFormats 函数用来返回所有的支持的 PixelFormats。这里我们只是做个例子，支持最基本的几种，作为一个完善的 CameraImage 类，当然是支持的像素类型越多越好。

CameraImage::CameraImage(QObject *parent)
    : QAbstractVideoSurface(parent)
{

}
QList<QVideoFrame::PixelFormat> CameraImage::supportedPixelFormats(
        QAbstractVideoBuffer::HandleType handleType) const
{
    Q_UNUSED(handleType);
    QList<QVideoFrame::PixelFormat> list;
    list << QVideoFrame::Format_RGB32;
    list << QVideoFrame::Format_ARGB32;
    list << QVideoFrame::Format_RGB24;
    list << QVideoFrame::Format_UYVY;
    list << QVideoFrame::Format_Y8;
    list << QVideoFrame::Format_YUYV;
    return list;
}

present 函数是最重要的，每次相机有新图像到来，都会调用 present 函数。

bool CameraImage::present(const QVideoFrame &frame)
 {
    // 处理捕获的帧
    if(frame.isMapped())
    {
        setVideoFrame(frame);
    }
    else
    {
        QVideoFrame f(frame);
        f.map(QAbstractVideoBuffer::ReadOnly);
        setVideoFrame(f);
    }
    return true;
 }

这里有个 QVideoFrame，需要讲解一下。一个 QVideoFrame 代表的就是相机的一帧数据。QVideoFrame::bits() 返回的是一帧图像的起始地址。但是在调用 bits() 函数之前还要先判断 frame 是否 map 了。所谓 map 就是将图像数据放到 CPU 可以寻址的地方。具体的大家可以看 QVideoFrame 的帮助文档。但是使用的方法很简单，就是先判断是否 map，如果没 map 就 map 一下。之后就可以正常使用了。

setVideoFrame 函数的作用是将 QVideoFrame 转换为 QImage。

void CameraImage::setVideoFrame(const QVideoFrame &frame)
{
    switch (frame.pixelFormat())
    {
    case QVideoFrame::Format_RGB24:
        setRGB24Image(frame.bits(), frame.size());
        break;
    case QVideoFrame::Format_RGB32:
    case QVideoFrame::Format_ARGB32:
    case QVideoFrame::Format_ARGB32_Premultiplied:
        setRGB32Image(frame.bits(), frame.size());
        break;
    case QVideoFrame::Format_Y8:
        setBayerImage(frame.bits(), frame.size());
        break;
    case QVideoFrame::Format_YUYV:
        setYUY2Image(frame.bits(), frame.size());
        break;
    case QVideoFrame::Format_UYVY:
        setUYVYImage(frame.bits(), frame.size());
        break;
    default:
        break;
    }

    // 这里可以做人脸识别一类的其他工作。
}

setVideoFrame 函数中又调用了 setRGB24Image 等其他函数。这些函数实现具体的数据转换操作。代码比较多，这里就不贴出来了。

• void setRGB24Image(const uint8_t *imgBuf, QSize size);
• void setRGB32Image(const uint8_t *imgBuf, QSize size);
• void setMono8Image(const uint8_t *imgBuf, QSize size);
• void setYUY2Image(const uint8_t *imgBuf, QSize size);
• void setVYUYImage(const uint8_t *imgBuf, QSize size);
• void setUYVYImage(const uint8_t *imgBuf, QSize size);