Qt Camera功能实现过程中碰到的问题总结

很多年没有写过东西了,换工作后使用Qt,很多东西都是在CSDN上找,这里也记录一些碰到的问题和解决方法。

目前做的产品需要有一个倒车影像(根据功能不同,可能还需要更多的摄像头显示)。之前的项目已经有了一个摄像头显示的实现,是基于 Qt Widget的方式,目前项目是使用QML做界面,如何实现摄像头功能就成了一个问题。

1. QML有一个MultiMedia的model, 但是这个在我们的系统还没有包含,所以用不了。

2. 在QML中嵌入Widget来显示。 

3. 实现一个QML的model,直接在QML中调用这个model就可以。

目前后面两种方法都实现了,但是QML的方式有点问题。所以暂时使用第二种方式来做。

 

如何在QML中使用Widget,网上查了资料,好多都是在Widget中使用QML的,但是如何在QML中使用Widget的很少,还有提到说无法再QML中使用Widget的。 后来找到这个帖子的内容,在Main函数调用Widget,就可以把这个Widget显示在QML的界面中。

https://blog.csdn.net/r5014/article/details/72528418

要在QML中使用Widget,在Main函数中,要使用QApplication app(argc,argv)。而不能用QGuiApplication app(argc,argv)。之后可以通过调用setVisible来控制该Widget是否显示。

 

在解决了上述问题之后, 同事在测试时发现,在切入到倒车影像界面后, CPU使用率达到了40%多。如果有2个Camera界面,CPU使用可以达到将近90%。 同事比较疑惑, 我们的设备上是有GPU的,为什么CPU占用会这么高。

这个问题很难搞啊,Qt是换工作刚学,底层驱动也看不到。Camera的实现是使用GStreamer的结构,OpenGL也完全不懂。每一部分都有的好研究一番,感觉真的是无从下手。 但是工作还是要做的,Camera的实现是使用GStreamer. 使用了imxv4l2src, videoscale和qt5videosink这三个element。qt5videosink直接包办了图像的显示, 这个element有个函数“paint”,我们只需要把Qt Painter指针和需要显示的尺寸位置作为参数发给它就可以,剩下的工作就不用管了。 但是现在要看为什么CPU占用高,图像数据都拿不到,怎么进行下一步研究? 好在GStreamer有提供一个sink element, appsink。这个element可以暴露出最后的数据供应用程序使用。那么就把原来的pipeline改了,最后的sink element把qt5videosink换成appsink。 我们这里没有直接使用appsink,因为我们使用的QtGStreamer,是把GStreamer弄到Qt环境下的,简单说是把很多GStreamer的函数重新封装了一下,方便在Qt下使用。 通过appsink,拿到每一帧的图像数据,这个数据是I420的,而最后的显示是需要RGB格式,这里就需要把I420转成RGB,利用OpenGL的Shader,可以把这部分装换的工作交给GPU去做。 我们只需要创建Texture,并把appsink这里拿到的数据贴到Texture上,后续就由GPU自己去完成了。 按照这个做出来,最后的CPU使用还是在40%。 后续又查了一些资料,因为在贴图到Texture上时调用glTexImage2D,执行这个函数等于做了内存拷贝, 把应用程序(Client)的图像传到OpenGL(Server) 的Buffer。这个操作是CPU介入的,CPU的消耗应该是花在内存拷贝上了。 后续把摄像头的刷新显示的频率改低了一些,100ms一次的话,CPU的使用率就下降到20%了。

那么有没有办法再对这个内存拷贝进行优化呢? 应该是可以的,搜到这个文章,

https://blog.csdn.net/panda1234lee/article/details/51546502

 

使用PBO可以将glTexImage2D的内存拷贝由DMA来完成。 不过这里涉及到对应PBO属性的支持,目前OpenGL/ES2.0 并不支持PBO的PACK和UNPACK属性,所以这个是没法使用的。 据说是OpenGL/ES3.0 才支持这个属性。 所以目前就只能先这样了。

 

展开阅读全文

没有更多推荐了,返回首页