Graphics User Guide(Rockchip Linux)

9人阅读 评论(0) 收藏 举报
分类:
|

rockchip linux平台的graphic,和以往大家所习惯所不同的是,我们应该是最先全面应用上drmdmabuf的arm linux平台。优势是,通用的架构,在上面客制化会很容易,可以利用很多现有组件,现在有很多基础开源项目的开发,都开始基于rockchip平台来作为arm端的适配平台。但缺点是,确实大家都不是很理解这些东西,实际应用起来需要一个学习过程。

wiki资料点这里

hardware

vop

vop是display单元,用来显示图像(比如输入nv12,rgb的buffer,显示到屏幕。输入1080p的图像,显示4k大小)。

rk3288有两个vop,vop有3个图层,前两个支持到4k分辨率,后一个鼠标层只有64×64。
rk3399同rk3288。
rk3036只有一个vop,2个图层,一个支持1080p,一个720p。

API

  • libdrm

gpu

gpu提供opengles api,适合做3d图形和2d图形的加速。

API

  • opengles
  • egl
  • opencl

software


先看这个结构图,有什么不理解可以留言。

重点理解libdrm,wayland和x11(compositor),mesa和libmali,qt和gtk(applcation)的关系。这张图理解了,写graphic就很轻松,不理解,就会一头雾水。

libdrm


libdrm是drm下沟通驱动和用户层的库。过去app可能是直接使用open(fb)这样的方式来和图形驱动沟通,但是在现在的硬件演化下,已经不合适了。比如硬件

  • 有多个图层怎么办?
  • 有多个屏幕怎么办?
  • 怎么处理vsync的问题,怎么同步不撕裂?
  • 怎么利用上dmabuf,做到memory zero-copy?

libdrm的存在就是用来方便用户层和驱动这些问题,提供API给X11, Wayland这样的display backend使用。如果你的程序比较简单,比如一个广告机循环播放视频,那是可以直接调用libdrm,但是不建议直接使用libdrm的api。原因很多:

  • 首先,你肯定不熟悉libdrm,因为libdrm本身是一个比较新的api,而且接触者局限在相关的drm driver developer和wayland/xserver developer这些人身上。
  • libdrm的演进比较快,比如说api还分atomic和legacy,你可能看到的资料和你现在用的完全不一样,只有熟悉演进记录的人才行。
  • 很多效果依赖于厂商的实现,甚至rockchip还有修改很多core API的表现效果来辅助我们内部产品项目,所以同个API在不同平台表现有可能完全不同的

当然,这里不是让你用x11和wayland,而是用我们封装好的东西。比如,广告机循环播放视频,那最好是用gstreamer,然后选kmssink显示,而不是直接调用libdrm的api。

简单的理解

drm里有crtc,plane,connector这三个东西,可以理解

  • connector就是屏幕,比如一个hdmi一个connector num, 一个dsi一个connector num
  • crtc表示vop, 一个屏幕一般对应一个crtc
  • plane就是图层,比如视频层在plane2,UI在plane1, 视频在UI上面

drm里api分两套,legacy和atomic。

legacy看名字就是早期的api,我们现在大部分程序也都是用的legacy api。里面有几个关键的funciton要注意下,drmModeSetCrtc包括了drmModeSetPlane包括了drmModePageFlip

drmModeSetCrtc一般是用来设置UI层,同时设置分辨率用,这里设下的size最后我改到屏幕的分辨率。在rockchip的bsp kernel上drmModeSetCrtc给出的buffer size不需要等于我们要设置的分辨率,这是为了实现在4k的屏幕上使用1080p的UI而做的,不过要注意,这是rockchip自己瞎改的。

drmModeSetPlane用来设置不同图层的显示,比如视频。参数上分别是要显示buffer fd,要操作的图层,要显示的大小,buffer的大小。他会缩放buffer显示到屏幕上。在rockchip平台上这个api是async的,两续调用两次,前面的就被覆盖了,可能需要drmwaitvblank一下,不过要注意,一般内核不会这样的。

为什么rockchip要改这么多地方呢。因为我们想在legacy的api上也完成多图层的显示。想下,我现在用两个图层,图层1和图层2,我现在图层1调用一次drmModeSetPlane,图层2调用一次drmModeSetPlane,然后他们都等一个vsync单位的时间,那假设屏幕刷新率60hz,我们的最大帧数是不是只有30fps了?为了解决这个问题,上游的人又开发了atomic的api。

atomic api的实质可以理解为一个提交包括了所有的图层的更新信息。这样就不用调用两次drmModeSetPlane了,而是一次的drmModeAtomicCommit,跟上所有的参数。atomic还有一个很有用的地方在他可以设置plane的zpos,这样就可以自由交换overlay plane和primary plane的显示层级了。之前我们在legacy api(kmssink)的时候都在kernel里hard code层级,但用atomic(mpv)的时候就不需要这样做,设置zpos后,osd(primary layer)也能在video(overlay layer)上面显示了。

资料

leagacy的实例

atomic的实例

当然最好还是看libdrm的文档和test程序。如果你是自己写小程序,可以把mpp+libdrm那demo里的rkdrm下的文件抽出来自己用,还是挺方便的。如果只是写给rockchip平台用,就legacy api,如果还有多个平台的需求,就研究下atomic了。

libmali

libmali单独拉出来讲一下,这个东西就是arm提供的userspace gpu驱动。

前面说了,gpu是提供opengles,egl,opencl api的,所以你要这几个工作,就需要把libmali加进rootfs里。

默认的binary我们都会传github上:https://github.com/rockchip-linux/libmali

命名规则:gpu型号-软件版本-硬件版本(如果有的话,比如说r1p0区分3288和3288w)-编译选项。

要注意编译选项

  • 不带后缀。是x11-gbm,注意gbm是配置drm使用的memory机制,如果不是3.10的kernel,不要用fbdev的。
  • gbm。 是给qteglfs这样的程序用的,不依赖x11,wayland。
  • wayland。 wayland-gbm, 给wayaland使用

需要替换的系统链接:x11 or none:https://github.com/rockchip-linux/libmali/blob/rockchip/debian/libmali-rk-midgard-t76x-r14p0-r0p0.linkswayland:https://github.com/rockchip-linux/libmali/blob/rockchip/debian/libmali-rk-midgard-t76x-r14p0-r0p0-wayland.links

zero-copy

用mali显示dmabuf的数据,比如说摄像头,视频,其实是可以用dmabuf zero-copy机制优化的。不然载入texture还要cpu去拷贝。

参考:

x11

就和一般桌面平台差不多,不过要x11要有个gpu性能缺陷的问题。

links

https://en.wikipedia.org/wiki/X.Org_Server
http://www.comptechdoc.org/os/linux/howlinuxworks/linux_hlxwindows.html
https://dri.freedesktop.org/wiki/DDX/
https://www.freedesktop.org/wiki/Software/Glamor/

wayland

建议使用yocto sdk做wayland的开发。不然不回答怎么编译,怎么运行的问题。

效率上wayland要比x11好点,主要是兼容性问题。如果不需要桌面,又要多窗口,可以wayland试试看。

zero-copy

wayland也有zero-copy的配置,可以搜下相关的wayland dmabuf。

资料

https://en.wikipedia.org/wiki/Wayland

none

不使用x11和wayland就是none啦,这也是我们嵌入式上接触比较多的。什么minigui啊,sdl啦都是这样的。

不过要支持到drm和opengl这种的,就只有qt了。

qteglfs

QT EGLFS是qt自己实现的一个gui系统,不支持多窗口,但也因此少了window compoiste。
QT EGLFS和dri2的方式也差不多,区别就在于,qt eglfs的font buffer在自己用gpu compoiste后,是直接送给drm去显示,而X里是送Window manager去做compoiste,所以EGLFS在效率上是有优势的。

FAQ

输出4k,但是UI只想1080p

目前只支持qteglfs实现这种需求。http://blog.iotwrt.com/tips/2017/06/04/swap-layer/

推荐下怎么选display

At present, the recommended choices for fullscreen window are :

  • qt with eglfs plugin
  • EGL program + x11
  • wayland
  • x11

The recommended choices for multi window are :

  • wayland
  • x11

The recommended choices for desktop are :

  • x11

The recommended choices for 4K playback + fullscreen window are :

  • qt with eglfs plugin
  • x11

The recommended choices for 4K playback + multi window are :

  • x11

Comments


查看评论

Graphics SDK Quick installation and user guide

参考:http://processors.wiki.ti.com/index.php/SGXDbg#Introduction The latest Linux Graphics ...
  • yibulianhua
  • yibulianhua
  • 2012-05-15 14:57:34
  • 1789

The Complete Guide to Blender Graphics(3rd) 无水印pdf

  • 2017年09月24日 17:47
  • 127.83MB
  • 下载

The Wall Street Journal Guide to Information Graphics

  • 2017年08月11日 11:05
  • 44.71MB
  • 下载

The Complete Guide to Blender Graphics Computer Modeling & Animation(4th) epub

  • 2017年10月07日 03:32
  • 57.13MB
  • 下载

QWT6.1.2User's Guide官方文档

  • 2015年04月09日 23:27
  • 2.48MB
  • 下载

ANDROID Porting系列七、Display Drivers

 •功能•实现您自己的驱动程序(驱动程序模板)•故障排除    本节介绍了如何显示驱动功能,并提供一个功能模板,旨在帮助您建立自己的特定于设备的驱动程序。Android依靠在Linux / fb.h内...
  • ccwwff
  • ccwwff
  • 2010-07-16 16:23:00
  • 2825

DirectX 9 Graphics The Definitive Guide To Direct3D 无水印pdf

  • 2017年09月24日 11:38
  • 4.14MB
  • 下载

Control-M_User_Guide

  • 2013年09月29日 16:23
  • 2.02MB
  • 下载

A Visual Guide to Stata Graphics, 2nd Edition

  • 2014年05月28日 15:39
  • 9.9MB
  • 下载

DirectX 9 Graphics the Definitive Guide to Direct3D第二章

龙儿对于这个CSDN无话可说,翻译了一下午就这么没了,还好我还保存了部分底稿。现在只能把那一部分提供给大家了,希望大家不要见怪啊。本来我是把书上的代码截屏放在这译文里,但图片又挂了,所以龙儿还是用帖我...
  • qq45000
  • qq45000
  • 2012-10-30 00:48:22
  • 1159
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 175万+
    积分: 1万+
    排名: 880