RK3399 探索之旅 / Display 子系统 / 基础概念

最新推荐文章于 2024-07-30 16:47:38 发布
最新推荐文章于 2024-07-30 16:47:38 发布
阅读量2.1k 收藏 17
点赞数
分类专栏： DRM子系统 文章标签： drm
原文链接：https://www.bianchengquan.com/article/219061.html
版权

Linux 下的许多驱动框架其实都挺复杂，大多都是许多国内外的牛人经过多年的完善而积累下来的代码。

学习驱动开发需要找准自己的定位，先全局把握再适当地去填充细节，不要总想着深入到驱动框架里，站在一个使用者的角度去思考如何应用这些驱动框架或许会有更好的效果。

这里我是以一个菜鸟的身份记录下自己的一些想法和学习心得，欢迎纠正我。

一、基础概念

1. Linux 的 2 种显示方案

包括：

  • FBDEV: Framebuffer Device

  • DRM/KMS: Direct Rendering Manager / Kernel Mode Setting

它们有什么区别？

  • FBDEV：

    • 传统的显示框架;

    • 简单，但是只能提供最基础的显示功能;

    • 无法满足当前上层应用和底层硬件的显示需求;

  • DRM/KMS：

    • 目前主流的显示方案;

    • 为了适应当前日益更新的显示硬件;

    • 软件上能支持更多高级的控制和特性;

2. DRM/KMS 基础概念

DRM subsystem 图：

点击查看大图

虽然经常用 DRM/KMS 来指代整个 DRM subsystem，但是 KMS 和 DRM driver 只是 整个 DRM subsystem 的其中 2 个部分。

KMS (Kernel Mode Setting) 是内核提供给应用层的 DRM API 的其中一部分，应用层一般通过 libdrm 来访问这些 API。

对于驱动工程师而言，重点关注 DRM driver，这里负责使能 Display engine，可以理解为加强版的 FBDEV。

KMS 里的几个重要组件：

  • Planes：图层，例如在 rockchip 平台里对应 SOC 内部 VOP 模块的 win 图层;

  • CRTC：显示控制器，例如在 rockchip 平台里对应 SOC 内部的 VOP 模块;

  • Encoder：输出转换器，指 RGB、LVDS、DSI、eDP、HDMI、CVBS、VGA 等显示接口;

  • Connector：连接器，指 encoder 和 panel 之间交互的接口部分;

  • Bridge：桥接设备，一般用于注册 encoder 后面另外再接的转换芯片，如 DSI2HDMI 转换芯片;

  • Panel：泛指屏，各种 LCD、HDMI 等显示设备的抽象;

这些组件组合成 display pipeline：

点击查看大图

3. 驱动视角看 DRM/KMS

下面以 Allwinner 芯片的 DRM driver 为例进行展示。

DRM subsystem：

点击查看大图

这里为了便于理解，将 DRM DSI Core / DRM Panel Core / DRM Bridge Core 从 DRM Core 里单独划分出来了，但是其实它们都属于 DRM Core。

DRM driver：

点击查看大图

二、了解硬件信息

1. 查阅芯片手册

Rockchip 平台的 LCD Controller 称为 VOP(Video Output Processor)，芯片中一般集 成 1~2 个 VOP。只有支持两个 VOP 的芯片，才能支持双屏异显。

RK3399 有 2 个 VOP：

  • Video Output Processor(VOP_BIG)

  • Video Output Processor(VOP_LIT)

支持的显示接口：

  • One or Two MIPI-DSI port

  • One eDP port

  • One DP port

  • One HDMI port

点击查看大图

2. 确定单板的显示接口

NanoPC T4：

  • LCD Interface: 一个eDP 1.3（4 线，10.8Gbps），一个或2个4线 MIPI-DSI;

  • DP on Type-C: DisplayPort 1.2 Alt Mode on USB Type-C;

  • HDMI: HDMI 2.0a，支持4K@60Hz显示，支持HDCP 1.4/2.2;

驱动工程师的职责：根据上层业务的需求，使能连接在上述接口上的各种 Panel，包括单独使能某个屏幕、双屏异显、双屏同显等。

三、查看单板的设备树

下面是 NanoPC-T4 设备树里和 display 相关的信息。

1. 相关节点及其状态

点击查看大图

2. 各节点的作用

display-subsystem：

  • 配置 Rockchip 的 display engine;

  • 通过 route 表将各组件(plane / crct / encoder / connector) 关联在一起，以便对应的驱动构建出 display pipe;

vopl: vop@ff8f0000：

  • 配置 VOP little;

  • 子节点 port 里有 5 个 endpoint，名字分别为 vopl_out_dsi / vopl_out_edp 等，它们是数据输出端，即 output endpoint;

  • 每个 endpoint 都会连接到某个 remote-endpoint，VOP 的 remote-endpoint 连接的就是各种显示 Encoder的 endpoint，例如 vopl_out_dsi ---> dsi_in_vopl;

vopb: vop@ff900000：

  • 省略

edp: edp@ff970000:

  • 配置 edp 控制器，大致包括基地址、中断、时钟、子节点 port;

  • 2 个 input endpoint，分别连接到 VOPL 和 VOPB;

  • 1 个 output endpoint 连接到了 epd panel 上;

  • 有 3 条连接：

    • vopb_out_edp ---> edp_in_vopb

    • vopl_out_edp ---> edp_in_vopl

    • edp_out ---> edp_panel

panel: edp-panel：

  • 配置某一款具体的 edp 屏;

  • 有 1 条连接:

    • edp_out ---> edp_panel

hdmi: hdmi@ff940000：

  • 配置 hdmi 控制器，大致包括引脚、基地址、中断、时钟、子节点 port;

  • 有 2 条连接：

    • vopb_out_hdmi ---> hdmi_in_vopb

    • vopl_out_hdmi ---> hdmi_in_vopl

dsi: dsi@ff960000  dsi1: dsi@ff968000：

  • 配置 mipi dsi，类似 edp / hdmi;

mipi_dphy_tx1rx1: mipi-dphy-tx1rx1@ff968000：

  • 配置 mipi dphy;

四、查看 Rockchip 的 DRM Driver

点击查看大图

1. 驱动路径

功能驱动路径
DRM master device driverdrivers/gpu/drm/rockchip/rockchip_drm_drv.c
Framebuffer driverdrivers/gpu/drm/rockchip/rockchip_drm_fb.c

drivers/gpu/drm/rockchip/rockchip_drm_fbdev.c
GEM Driverdrivers/gpu/drm/rockchip/rockchip_drm_gem.c
VOP Driverdrivers/gpu/drm/rockchip/rockchip_drm_vop.c  

drivers/gpu/drm/rockchip/rockchip_vop_reg.c
LVDS Driverdrivers/gpu/drm/rockchip/rockchip_lvds.c

drivers/phy/rockchip/phy-rockchip-inno-video-phy.c
RGA Ddriverdrivers/gpu/drm/rockchip/rockchip_drm_rga.c
MIPI Driverdrivers/gpu/drm/rockchip/dw-mipi-dsi.c
HDMI Driverdrivers/gpu/drm/rockchip/dw_hdmi-rockchip.c

drivers/gpu/drm/bridge/dw-hdmi.c
inno HDMI Driverdrivers/gpu/drm/rockchip/inno_hdmi.c

drivers/phy/rockchip/phy-rockchip-inno-hdmi-phy.c
eDP Driverdrivers/gpu/drm/rockchip/analogix_dp-rockchip.c

drivers/gpu/drm/bridge/analogix/analogix_dp_core.c

drivers/gpu/drm/bridge/analogix/analogix_dp_reg.c

drivers/phy/rockchip/phy-rockchip-dp.c
DP Driverdrivers/gpu/drm/rockchip/cdn-dp-core.c

drivers/gpu/drm/rockchip/cdn-dp-reg.c
TVE/CVBS Driverdrivers/gpu/drm/rockchip/rockchip_drm_tve.c

2. Rockchip DRM driver 的 probe 流程

点击查看大图

这张图是 Rockchip 官方提供的，非常好的一张图。

有了这张图相当于有了一张源码分析的地图，后续我们可以参考它来进行更细致地源码分析。

简单说明一下：

  1. 各种 Encoder driver 和 CRCT driver 被 probe，然后通过 component_add() 注册进系统;

  2. Rockchip DRM Master device 被 probe:

  • 将各种 Encoder driver 和 CRCT driver 通过 component_match_add() 注册进 component match list;

  • component_master_add_with_match() 触发各种Encoder 和 CRCT component 的bind 操作，例如 vop_bind()、dw_hdmi_rockchip_bind() 等。

  • bind 的含义就是将 DRM 框架里的组件关联在一起，以 vop_bind() 为例：

    • VOP Driver 对应 CRCT driver， CRTC 负责连接 Planes 和 Encoder;

    • vop_create_crtc() -> drm_crtc_init_with_planes() 创建了 CRTC 对象，并和 Planes 关联在一起;

  • 剩下的就是边边角角的工作，例如注册 framebuffer 以兼容 FBDEV，显示 logo等。

  • 五、辅助调试的工具

    1. sysfs

    查看当前的显示状态，下面是只接了 HDMI 的情况：

    $ cat /sys/kernel/debug/dri/0/summary
VOP [ff900000.vop]: ACTIVE
    Connector: HDMI-A
        overlay_mode[0] bus_format[100a] output_mode[f] color_space[0]
    Display mode: 1920x1080p60
        clk[148500] real_clk[148500] type[48] flag[5]
        H: 1920 2008 2052 2200
        V: 1080 1084 1089 1125
    win0-0: ACTIVE
        format: XR24 little-endian (0x34325258) SDR[0] color_space[0]
        csc: y2r[0] r2r[0] r2y[0] csc mode[0]
        zpos: 0
        src: pos[0x0] rect[1920x1080]
        dst: pos[0x0] rect[1920x1080]
        buf[0]: addr: 0x0000000000000000 pitch: 7680 offset: 0
    win1-0: DISABLED
    win2-0: DISABLED
    win2-1: DISABLED
    win2-2: DISABLED
    win2-3: DISABLED
    win3-0: DISABLED
    win3-1: DISABLED
    win3-2: DISABLED
    win3-3: DISABLED
    post: sdr2hdr[0] hdr2sdr[0]
    pre : sdr2hdr[0]
    post CSC: r2y[0] y2r[0] CSC mode[1]
VOP [ff8f0000.vop]: DISABLED

    查看某个具体的显示设备：

    $ ls /sys/class/drm/
card0  card0-DP-1  card0-eDP-1  card0-HDMI-A-1  controlD64  renderD128  version

    2. 调整 DRM log 等级

    /sys/module/drm/parameters/debug

    debug 里的每一个 bit 的含义：

    • Bit 0: enable CORE messages (drm core code)

    • Bit 1: enable DRIVER messages (drm controller code)

    • Bit 2: enable KMS messages (modesetting code)

    • Bit 3: enable PRIME messages (prime code)

    • Bit 4: enable ATOMIC messages (atomic code)

    • Bit 5: enable VBL messages (vblank code) (int)

    3. libdrm/modetest

    modetest 是由 libdrm 提供的测试程序，可以查询显示设备的支持状况，进行基本的显示测试，以及设置显示的模式。

    $ git clone https://gitlab.freedesktop.org/mesa/drm
$ apt-get install meson
$ meson builddir/
$ ninja -C builddir/ install
$ ./builddir/tests/modetest/modetest -h
usage: ./builddir/tests/modetest/modetest [-acDdefMPpsCvrw]
...

    六、参考

    • Linux kernel Documentation

    • Rockchip RK3399 Datasheet V2.1-20200323.pdf

    • Rockchip_Introduction_DRM_Integration_Helper_CN.pdf

    • Rockchip DRM Display Driver Development Guide V1.0.pdf

    • Rockchip_Developer_Guide_DRM_Panel_Porting_CN.pdf

    • The DRM/KMS subsystem from a newbie’s point of view.pdf

HugoVus
关注
专栏目录
RK3399平台开发系列讲解（内核篇）34.RK3399平台开发之DRM架构下的屏幕点亮
一直在水些技术小文
09-27 184
使用DRM架构来配置和点亮屏幕是RK3399平台开发中的重要步骤。通过正确编写和执行相应的代码，我们可以成功配置和启用显示器。本文介绍了在RK3399平台上使用DRM架构来点亮屏幕的方法，并提供了一个示例来演示如何配置和启用显示器。在RK3399平台的开发过程中，使用DRM（Direct Rendering Manager）架构来配置和点亮屏幕是非常重要的。本文将介绍如何在RK3399平台上使用DRM架构来点亮屏幕，并通过一个示例演示如何配置和启用显示器。如果一切正常，屏幕将会被点亮并显示相应的内容。
RK3399的DRM-HOWTO测试
01-15
RK3399的DRM-HOWTO测试 最近在学习与调试RK3399的DRM显示架构，网上有很多例程，其中介绍比较多的是来于David Herrmann’s Github的drm-howto.开源代码 但这些源码下载后执行make编译出来的执行文件只能在PC机上测试运行，因为用的是PC机的gcc编译工具以及系统库。 为了能让drm-howto例程能运行在RK3399上，此例程修改了部分内容 参考本人的修改文章：https://blog.csdn.net/xiaohua4758/article/details/112659562
【RK3568】点亮eDP屏幕+双屏异显
最新发布
weixin_62370184的博客
07-30 1845
【RK3568】点亮eDP屏幕+双屏异显
Rockchip RK3399 - DRM crtc基础知识
Graceful_scenery的博客
10-20 942
一、LCD硬件原理 1.1 CRT介绍 CRT是阴极射线管(Cathode Ray Tube)的缩写，它是一种使用电子束在荧光屏上创建图像的显示设备。CRT显示器在过去很长一段时间内是主流的显示技术，现已被液晶显示屏或其他新兴技术所替代。 在CRT显示器中，扫描电子束从左到右、从上到下移动，照亮屏幕上的荧光点，从而创建图像。电子束每秒多次扫描整个屏幕，产生闪烁效果，需要与正在显示的内容同步。 随...
linux dsi接口,RK3399 探索之旅 / Display 子系统 / 基础概念
weixin_36413247的博客
05-14 1132
Linux 下的许多驱动框架其实都挺复杂，大多都是许多国内外的牛人经过多年的完善而积累下来的代码。学习驱动开发需要找准自己的定位，先全局把握再适当地去填充细节，不要总想着深入到驱动框架里，站在一个使用者的角度去思考如何应用这些驱动框架或许会有更好的效果。这里我是以一个菜鸟的身份记录下自己的一些想法和学习心得，欢迎纠正我。一、基础概念1. Linux 的 2 种显示方案包括：FBDEV: Frame...
rk3399/rk3399pro camera demo
09-02
集成视频录制、HDMI图像显示、RTSP传输、H264压缩编码等功能，程序在rk3399pro开发板上测试通过
实战视频教程- RK3399 Android10.0 驱动/内核开发
butterflyvy的博客
07-25 2571
15年以上嵌入式实战经验。曾工作于某外企，期间由于工作突出，以技术优势被调往集团总部研发部工作，有海外工作的经历。也曾工作于多个上市公司，做过多个欧洲产品，其中包括德国产品，产品品质可媲美于德国工业级产品。此外也曾工作于OPPO系海外高端手机品牌oneplus(一加手机)公司。参与最初的oneplus一代，二代及X代及OPPO多款高端旗舰机的研发。所做项目经手的平台有高通,MTK,RK,展讯,ATMEL,Freescale,Marvell,ST等.人生格言莫向外求！1课程特点实战性比较强。...
RK3399pro v4l2调用USB摄像头
11-13
因为RK3399pro+fadora系统的/dev/video0口被占用，使用python3+opencv无法读取摄像头数据，所以使用过 v4l2调用USB摄像头
RK3399最小系统原理图参考
02-17
RK3399最小系统原理图
RK3399平台开发系列讲解（内核调试篇）2.34、DRM架构下如何点亮一块屏
内核笔记
10-01 3584
1.屏的基本配置及含义 参考《Rockchip_DRM_Panel_Porting_Guide_V1.3_20171209.pdf》 2.调试手段有哪些： （1）检查软件配置。 （2）查看log，相应的显示驱动有没有绑定成功。 （3）调整对应的参数。 3.示例 （1）点一块edp屏 （2）点一块mipi屏
modetest工具测试(linux-5.10)
gjioui123的博客
04-01 2528
本内容通过modetest的打印，了解drm中各个object之间的关联，即如何正确的设置crtc，connector，encoder，plane的组合，才能正确的显示成功。内核驱动在加载后需要创建crtc，connector，encoder，plane等。且他们直接需要正确的匹配，比如connector和encoder。
系统重启后mipi屏幕黑屏的问题
习惯就好zz的专栏
01-07 1522
mipi黑屏问题总结
libdrm-modetest原理及图显系统验证方法
daochukoukoiu的博客
01-13 2461
modetest原理及图显系统验证方法
modetest在飞腾uos上的测试
laorenyuhai的专栏
11-15 1652
测试环境：飞腾（arm）+uos+hdmi显示器 （不是嵌入式开发板）,内核为4.19.0 1、modetest是drm提供的测试工具，可以查询显示设备的特性，进行基本的显示测试，以及设置显示的模式。 2、modetest可通过下载libdrm并编译获取，libdrm版本为libdrm-2.4.100 3、一般情况下进入uos，都会自带窗口系统，可在进入桌面系统后，打开命令行并输入init 3，重新登陆进入熟悉的命令行（黑屏）模式。（一定要保证/dev/device/card0不被其他进程使用） 否
modetest编译、原理分析
2440学习---LCD详解（1） LCD原理
05-10 2558
modetest 一、编译 编译环境：ubuntu20.04 下载地址：https://gitlab.freedesktop.org/mesa/drm/-/tree/libdrm-2.4.105 安装meson：apt-get install meson 编译：meson . build && ninja -C build 第一次编译结果： 结果显示没有Cmake atomic_ops 安装Cmake 参考 https://www.linuxidc.com/Linux/2018-09/1
modetest命令使用说明
平面到立体
07-17 3471
modetest命令输出的解读及设置应用 解决 在使用中遇到的 failed to set mode: Permission denied和failed to open device 等问题
【技术分享】RK3568适配RK628 RGB to HDMI
Industio_CSDN的博客
07-21 1150
内置独立的 NPU，32Bit位宽LPDDR4/LPDDR4x，频率最高可达1600MHz，支持全链路ECC ，支持Android 11，Ubuntu , Debian，OpenHamoney，麒麟OS等多种系统。​RK628是一款多功能视频桥接芯片，支持多种显示接口的转换。本文基于RK3568平台，分享使用RK628桥接芯片实现RGB信号转换为HDMI输出的适配过程。dts配置分显示和音频两部分，显示部分在i2c中添加rk628节点，并将其与rgb绑定；24MHz时钟：给RK628提供时钟信号；
RK3399处理器的PCM/I2S接口详解与硬件设计要点
"PCM/IS接口介绍-RK3399处理器硬件设计的要点及注意事项" 在本文中，我们将深入探讨RK3399处理器及其硬件设计中的关键接口，特别是PCM和I2S接口。RK3399是由Rockchip公司推出的一款高性能应用处理器，其强大的配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值