基于DRM框架的HDMI热插拔流程分析

塾

D

R

M

基于DRM框架的

HDMI热插拔流程分析

PART.01

D

R

M

介

绍

DRM 全称是Direct Rendering Manager，进行显示输出管理、buffer 分配、帧缓冲。对应userspace 库为libdrm，libdrm 库提供了一系列友好的控制封装，使用户可以方便的进行显示的控制和buffer 申请。

GDK8使用的是瑞芯微的RK3328芯片，而瑞芯微的显示框架有两大模块，分别是DRM与FB，其中FB框架是对应3.x内核的，而DRM框架是对应4.x内核，因此使用4.19.161内核的GDK8就是采用基于DRM显示框架的HDMI。

DRM的设备节点为"/dev/dri/cardX"， X 为0-15 的数值，默认使用的是/dev/dri/card0。

CRTC	显示控制器，在rockchip 平台是SOC 内部VOP(部分文档也称为LCDC)模块的抽象
Plane	图层，在rockchip 平台是SOC 内部VOP(LCDC)模块win 图层的抽象
Encoder	输出转换器，指RGB、LVDS、DSI、eDP、HDMI、CVBS、VGA 等显示接口
Connector	连接器，指encoder 和panel 之间交互的接口部分
Bridge	桥接设备，一般用于注册encoder 后面另外再接的转换芯片，如DSI2HDMI 转换芯片
Panel	泛指屏，各种LCD、HDMI 等显示设备的抽象
GEM	buffer 管理和分配，类似android 下的ion

PART.02

热

插

拔

介

绍

热插拔是指在不关闭系统的前提下，插拔外部设备而不影响系统的正常使用。这个功能对需要许多外设都是非常重要的，毕竟你不可能希望拔出HDMI后，只能关机插入HDMI，再重新上电后，才能让HDMI再次工作。

DRM驱动处理热插拔的过程比较复杂，下面会对一些主要的函数设置断点，并分析其的作用。

PART.03

热

插

拔

流

程

#3.1 更新物理层状态

当内核检测到HDMI热插拔事件后，首先会通过dw_hdmi_phy_update_hpd函数更改hdmi的phy状态。

void dw_hdmi_phy_update_hpd(struct dw_hdmi *hdmi, void *data,
          bool force, bool disabled, bool rxsense)
{
  u8 old_mask = hdmi->phy_mask;


  if (force || disabled || !rxsense)
    hdmi->phy_mask |= HDMI_PHY_RX_SENSE;
  else
    hdmi->phy_mask &= ~HDMI_PHY_RX_SENSE;


  if (old_mask != hdmi->phy_mask)
    hdmi_writeb(hdmi, hdmi->phy_mask, HDMI_PHY_MASK0);
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_update_hpd);

在用户空间中，可以通过dw-hdmi目录下的虚文件，查看HDMI的状态信息。

cat /sys/kernel/debug/dw-hdmi/status
PHY: enabled                    Mode: HDMI
Pixel Clk: 297000000Hz          TMDS Clk: 297000000Hz
Color Format: YUV444            Color Depth: 8 bit
Colorimetry: ITU.BT709          EOTF: Off

Mode	当前的输出模式
Pixel Clk	当前输出的像素时钟
TMDS Clk	当前输出的HDMI符号率
Color Format	当前输出的颜色格式
Color Depth	当前输出的颜色深度
Colorimery	当前输出的颜色标准
EOTF	HDR信息

通过栈回溯可以看到，在内核检测到HDMI插拔时，内核会检测到中断事件，并创建一个新的线程来处理该事件，这个时候内核会调用dw_hdmi_irq，在dw_hdmi_irq内会去更新hdmi的phy和rxsense的状态。

kn
 # Child-SP          RetAddr           Call Site
00 ffffff80`0a9b3d20 ffffff80`087f17d8 lk!dw_hdmi_phy_update_hpd [drivers/gpu/drm/bridge/synopsys/dw-hdmi.c @ 1730]
01 ffffff80`0a9b3d20 ffffff80`087f1a1c lk!dw_hdmi_setup_rx_sense+0x78 [drivers/gpu/drm/bridge/synopsys/dw-hdmi.c @ 3178]
02 ffffff80`0a9b3d20 ffffff80`08129238 lk!dw_hdmi_irq+0x22c [drivers/gpu/drm/bridge/synopsys/dw-hdmi.c @ 3219]
03 ffffff80`0a9b3d20 ffffff80`08129618 lk!irq_thread_fn+0x28 [kernel/irq/manage.c @ 1010]
04 ffffff80`0a9b3d20 ffffff80`080e168c lk!irq_thread+0x118 [kernel/irq/manage.c @ 1091]
05 ffffff80`0a9b3d20 ffffff80`08085dd0 lk!kthread+0x12c [kernel/kthread.c @ 260]
06 ffffff80`0a9b3d20 00000008`00000008 lk!ret_from_fork+0x10 [arch/arm64/kernel/entry.S @ 1104]

#3.2 检测连接器状态

drm驱动通过drm_helper_hpd_irq_event函数检测每一个connector的状态。
通过下面的栈回溯可以看到当HDMI插入后，内核同样会检测到中断事件，并创建一个新的线程来处理该事件，在更新完phy和rxsense的状态后，由于是热插拔事件，所以会调用repo_hpd_event函数(hpd：hot plug detect)。

kn
 # Child-SP          RetAddr           Call Site
00 ffffff80`0abd3d60 ffffff80`087f241c lk!drm_helper_hpd_irq_event [drivers/gpu/drm/drm_probe_helper.c @ 773]
01 ffffff80`0abd3d60 ffffff80`080db1b8 lk!repo_hpd_event+0x8c [drivers/gpu/drm/bridge/synopsys/dw-hdmi.c @ 383]
02 ffffff80`0abd3d60 ffffff80`080db47c lk!process_one_work+0x1a0 [./arch/arm64/include/asm/jump_label.h @ 31]
03 ffffff80`0abd3d60 ffffff80`080e168c lk!worker_thread+0x4c [./include/linux/compiler.h @ 193]
04 ffffff80`0abd3d60 ffffff80`08085dd0 lk!kthread+0x12c [kernel/kthread.c @ 260]
05 ffffff80`0abd3d60 00000008`00000008 lk!ret_from_fork+0x10 [arch/arm64/kernel/entry.S @ 1104]

在repo_hpd_event函数中，首先会根据phy的状态设置去设置rxsense（rxsense的状态会改变多次），之后如果发现设备存在，就会调用drm_helper_hpd_irq_event。

static void repo_hpd_event(struct work_struct *p_work)
{
  struct dw_hdmi *hdmi = container_of(p_work, struct dw_hdmi, work.work);
  u8 phy_stat = hdmi_readb(hdmi, HDMI_PHY_STAT0);


  mutex_lock(&hdmi->mutex);
  if (!(phy_stat & HDMI_PHY_RX_SENSE))
    hdmi->rxsense = false;
  if (phy_stat & HDMI_PHY_HPD)
    hdmi->rxsense = true;
  mutex_unlock(&hdmi->mutex);


  if (hdmi->bridge.dev) {
    bool change;


    change = drm_helper_hpd_irq_event(hdmi->bridge.dev);


#ifdef CONFIG_CEC_NOTIFIER
    if (change)
      cec_notifier_repo_cec_hpd(hdmi->cec_notifier,
              hdmi->hpd_state,
              ktime_get());
#endif
  }
}

drm_helper_hpd_irq_event函数主要做两个事情，分别是修改connector的状态和决定是否通知用户空间执行对应的操作。

bool drm_helper_hpd_irq_event(struct drm_device *dev)
{
  struct drm_connector *connector;
  struct drm_connector_list_iter conn_iter;
  enum drm_connector_status old_status;
  bool changed = false;


  if (!dev->mode_config.poll_enabled)
    return false;


  mutex_lock(&dev->mode_config.mutex);
  drm_connector_list_iter_begin(dev, &conn_iter);
  drm_for_each_connector_iter(connector, &conn_iter) {
    /* Only handle HPD capable connectors. */
    if (!(connector->polled & DRM_CONNECTOR_POLL_HPD))
      continue;


    old_status = connector->status;


    connector->status = drm_helper_probe_detect(connector, NULL, false);
    DRM_DEBUG_KMS("[CONNECTOR:%d:%s] status updated from %s to %s\n",
            connector->base.id,
            connector->name,
            drm_get_connector_status_name(old_status),
            drm_get_connector_status_name(connector->status));
    if (old_status != connector->status)
      changed = true;
  }
  drm_connector_list_iter_end(&conn_iter);
  mutex_unlock(&dev->mode_config.mutex);


  if (changed)
    drm_kms_helper_hotplug_event(dev);


  return changed;
}

#3.3 触发KMS事件

如果发现状态已经改变drm_helper_hpd_irq_event就会调用drm_kms_helper_hotplug_event触发KMS（kernel mode setting）事件。
其中drm_sysfs_hotplug_event通过kobject_uevent_env函数发送uevent给用户空间的udev进程；而drm_client_dev_hotplug会通知客户端发生了热插拔事件。

void drm_kms_helper_hotplug_event(struct drm_device *dev)
{
  /* send a uevent + call fbdev */
  drm_sysfs_hotplug_event(dev);
  if (dev->mode_config.funcs->output_poll_changed)
    dev->mode_config.funcs->output_poll_changed(dev);


  drm_client_dev_hotplug(dev);
}

#3.4 转移阵地->用户空间

在Ubuntu的用户空间内有两大程序为DRM驱动服务，分别是负责管理设备的udevd守护进程和图形化程序Xorg。

3.4.1

设备管理工具-udevd

在Linux中，设备的底层支持是内核处理的，但是它们的相关事件是在用户空间中通过udevd进程进行管理的，在上面的drm_kms_helper_hotplug_event内也可以看到，内核会通过kobject_uevent_env向udevd发生uevent事件，获取uevent的事件后，udevd会去通过用户空间的脚本文件执行相应的操作。

139 ?        00:00:00 systemd-udevd

udevd管理的规则文件通常放在/etc/udev/rules.d/或/usr/lib/udev/rules.d目录下，并且以.rules为文件的后缀名。

file /etc/udev/rules.d/60-drm.rules
/etc/udev/rules.d/60-drm.rules: ASCII text
cat /etc/udev/rules.d/60-drm.rules
SUBSYSTEM=="drm", ACTION=="change", ENV{HOTPLUG}=="1", RUN+="/usr/local/bin/drm-hotplug.sh"

通过上面的60-drm.rules文件可以知道，热插拔事件发生后，会去运行drm-hotplug.sh脚本文件，下面脚本会通过xrandr改变屏幕的显示状态。

cat /usr/local/bin/drm-hotplug.sh
#!/bin/sh -x


# Try to figure out XAUTHORITY and DISPLAY
for pid in $(pgrep X 2>/dev/null || ls /proc|grep -ow "[0-9]*"|sort -rn); do
    PROC_DIR=/proc/$pid


    # Filter out non-X processes
    readlink $PROC_DIR/exe|grep -qwE "X$|Xorg$" || continue


    # Parse auth file and display from cmd args
    export XAUTHORITY=$(cat $PROC_DIR/cmdline|tr '\0' '\n'| \
        grep -w "\-auth" -A 1|tail -1)
    export DISPLAY=$(cat $PROC_DIR/cmdline|tr '\0' '\n'| \
        grep -w "^:.*" || echo ":0")


    echo Found auth: $XAUTHORITY for dpy: $DISPLAY
    break
done


export DISPLAY=${DISPLAY:-:0}


# Find an authorized user
unset USER
for user in root $(users);do
    sudo -u $user xdpyinfo &>/dev/null && \
        { USER=$user; break; }
done
[ $USER ] || exit 0


# Find disconnected monitors
MONITORS=$(sudo -u $user xrandr|grep -w disconnected|cut -d' ' -f1)


# Make sure every disconnected monitors been disabled especially DP-1.
for monitor in $MONITORS;do
    sudo -u $user xrandr --output $monitor --off
done


# Find connected monitors
MONITORS=$(sudo -u $user xrandr|grep -w connected|cut -d' ' -f1)


# Make sure every connected monitors been enabled with a valid mode.
for monitor in $MONITORS;do
    # Unlike the drm driver, X11 modesetting drv uses HDMI for HDMI-A
    CRTC=$(echo $monitor|sed "s/HDMI\(-[^B]\)/HDMI-A\1/")


    SYS="/sys/class/drm/card*-$CRTC/"


    # Already got a valid mode
    grep -w "$(cat $SYS/mode)" $SYS/modes && continue


    # Ether disabled or wrongly configured
    sudo -u $user xrandr --output $monitor --auto
done


exit 0

3.4.2

图形化程序-Xorg

当drm_client_dev_hotplug通过客户端Xorg热插拔事件发生后，Xorg会更新显示信息（比如合成图层，充填缓冲区），并通过libdrm库中的drmIoctl，帮助drm驱动协助处理显示信息。
首先Xorg会通过RROutputSetCrtcs获取显示设备的信息。

Bool
RROutputSetCrtcs(RROutputPtr output, RRCrtcPtr * crtcs, int numCrtcs)
{
    RRCrtcPtr *newCrtcs;
    int i;


    if (numCrtcs == output->numCrtcs) {
        for (i = 0; i < numCrtcs; i++)
            if (output->crtcs[i] != crtcs[i])
                break;
        if (i == numCrtcs)
            return TRUE;
    }
    if (numCrtcs) {
        newCrtcs = xallocarray(numCrtcs, sizeof(RRCrtcPtr));
        if (!newCrtcs)
            return FALSE;
    }
    else
        newCrtcs = NULL;
    free(output->crtcs);
    memcpy(newCrtcs, crtcs, numCrtcs * sizeof(RRCrtcPtr));
    output->crtcs = newCrtcs;
    output->numCrtcs = numCrtcs;
    RROutputChanged(output, TRUE);
    return TRUE;
}

之后会通过RRCrtcSet函数决定是否需要显示图形化界面。

Bool
RRCrtcSet(RRCrtcPtr crtc,
          RRModePtr mode,
          int x,
          int y, Rotation rotation, int numOutputs, RROutputPtr * outputs)
{
    ScreenPtr pScreen = crtc->pScreen;
    Bool ret = FALSE;
    Bool recompute = TRUE;
    Bool crtcChanged;
    int  o;


    rrScrPriv(pScreen);


    crtcChanged = FALSE;
    for (o = 0; o < numOutputs; o++) {
        if (outputs[o] && outputs[o]->crtc != crtc) {
            crtcChanged = TRUE;
            break;
        }
    }


    /* See if nothing changed */
    if (crtc->mode == mode &&
        crtc->x == x &&
        crtc->y == y &&
        crtc->rotation == rotation &&
        crtc->numOutputs == numOutputs &&
        !memcmp(crtc->outputs, outputs, numOutputs * sizeof(RROutputPtr)) &&
        !RRCrtcPendingProperties(crtc) && !RRCrtcPendingTransform(crtc) &&
        !crtcChanged) {
        recompute = FALSE;
        ret = TRUE;
    }
    else {
        if (pScreen->isGPU) {
            ScreenPtr master = pScreen->current_master;
            int width = 0, height = 0;


            if (mode) {
                width = mode->mode.width;
                height = mode->mode.height;
            }
            ret = rrCheckPixmapBounding(master, crtc,
                                        rotation, x, y, width, height);
            if (!ret)
                return FALSE;


            if (pScreen->current_master) {
                Bool sync = rrGetPixmapSharingSyncProp(numOutputs, outputs);
                ret = rrSetupPixmapSharing(crtc, width, height,
                                           x, y, rotation, sync,
                                           numOutputs, outputs);
            }
        }
#if RANDR_12_INTERFACE
        if (pScrPriv->rrCrtcSet) {
            ret = (*pScrPriv->rrCrtcSet) (pScreen, crtc, mode, x, y,
                                          rotation, numOutputs, outputs);
        }
        else
#endif
        {
#if RANDR_10_INTERFACE
            if (pScrPriv->rrSetConfig) {
                RRScreenSize size;
                RRScreenRate rate;


                if (!mode) {
                    RRCrtcNotify(crtc, NULL, x, y, rotation, NULL, 0, NULL);
                    ret = TRUE;
                }
                else {
                    size.width = mode->mode.width;
                    size.height = mode->mode.height;
                    if (outputs[0]->mmWidth && outputs[0]->mmHeight) {
                        size.mmWidth = outputs[0]->mmWidth;
                        size.mmHeight = outputs[0]->mmHeight;
                    }
                    else {
                        size.mmWidth = pScreen->mmWidth;
                        size.mmHeight = pScreen->mmHeight;
                    }
                    size.nRates = 1;
                    rate.rate = RRVerticalRefresh(&mode->mode);
                    size.pRates = &rate;
                    ret =
                        (*pScrPriv->rrSetConfig) (pScreen, rotation, rate.rate,
                                                  &size);
                    /*
                     * Old 1.0 interface tied screen size to mode size
                     */
                    if (ret) {
                        RRCrtcNotify(crtc, mode, x, y, rotation, NULL, 1,
                                     outputs);
                        RRScreenSizeNotify(pScreen);
                    }
                }
            }
#endif
        }
        if (ret) {


            RRTellChanged(pScreen);


            for (o = 0; o < numOutputs; o++)
                RRPostPendingProperties(outputs[o]);
        }
    }


    if (recompute)
        RRComputeContiguity(pScreen);


    return ret;
}

PART.04

实

验

环

境

硬件设备	GDK8 + 挥码枪
软件	Nano Code

GDK8（GEDU Development Kit 8）是格蠹科技针对ARMv8平台研发的开发和调试平台，预装了GNU的开发工具链，可以在ARM系统本机开发各种ARM应用软件和驱动程序， 彻底改变了传统的交叉编译方式，大大提高了开发和调试效率。GDK8可以与格蠹科技的Nano Debugger（NDB）一起工作，使用WinDBG的各种调试命令来调试Linux程序，将Linux平台的调试技术推上一个新的台阶， 是学习和研究ARMv8架构、LINUX操作系统和嵌入式软件技术的有力助手。

挥码枪（Nano Target Probe，NTP）是基于ARM CoreSight技术的硬件调试器， 其核心功能是通过CoreSight协议访问目标系统，实现系统调试和调优等功能。

挥码枪上手指南：

https://www.nanocode.cn/wiki/docs/gedu_ntp_wiki

Nano Code下载链接：

https://www.nanocode.cn/#/download

PART.05

盛

格

塾

介

绍

盛格塾是格蠹科技旗下的知识分享平台，是以“格物致知”为教育理念的现代私塾。

本着为先圣继绝学的思想，盛格塾努力将传统文化中的精华与现代科技密切结合，以传统文化和人文情怀阐释现代科技，用现代科技传播传统文化。

访问方式

手机端：微信小程序搜索“盛格塾”

电脑端：下载Nano Code社区版客户端

https://www.nanocode.cn/#/download

格友公众号

盛格塾小程序

 ✦ 

往期推荐

这个机制让人服

从头再来问题多

M核的第一条指令

哈佛架构的历史和今天