Rockchip RK3399 - Mali-T864 GPU驱动

----------------------------------------------------------------------------------------------------------------------------

开发板   ：NanoPC-T4开发板eMMC    ：16GBLPDDR3 ：4GB显示屏    ：15.6英寸HDMI接口显示屏u-boot      ：uboot 2023.04linux        ：6.3、5.2.8----------------------------------------------------------------------------------------------------------------------------

需要注意的是：本篇博客是以linux 6.3版本为主体介绍的，但是内容同样适用于linux 5.2.8版本。

一、图像界面卡顿问题

在前面的文章我们已经移植了在NanoPC-T4开发板上移植了uboot 2023.04、linux 6.3、以及ubuntu 20.04.4根文件系统。然后在使用ubuntu桌面环境的时候，发现了一个问题，随便打开一个网页，视频都加载很慢，同时看到CPU的占用率会急剧升高；

1.1 产生原因

造成这种情况一般由两个原因：

• 开发板上主控 SoC 的性能比较弱，没有带3D图形加速(即GPU)功能；
• 开发板上的SoC带了GPU，但是没有用起来；

第一个原因基本是无解的，如果你选的SoC上面没有带GPU，唯一的办法就是尽量去跑轻量级的图形界面，如果想跑debian、ubuntu这种发行版上默认搭配的GNOME或者KDE，这种没有GPU支持，所有的图像合成渲染都要通过CPU来运算，是很难跑流畅的。所以如果你对图形显示功能比较看重，在选开发板的时候一定要查阅与之搭配的主控SoC是否带有GPU。

也有很多人被卡在了第二个关卡，SoC上搭配了强劲的GPU、比如 RK3399，S912，他们都搭载了ARM Mali GPU，但是mainline内核(指的是主线linux内核)却缺少相应的驱动支持，GPU 驱动一般分为两部分：

• 一小部分在 linux 内核中；
• 另外一大部分在 userspace，在 userspace的部分向下操作内核中的驱动，向上对应用层提供标准的 OpenGL 接口，这样各种图形显示相关的应用才能通过标准的OpenGL API进行图形渲染加速；

1.2 ARM Mail GPU

Mali GPU IP 提供商ARM公司只开放了内核部分驱动，而且这部分驱动还没有按照linux kernel的规范以DRM的框架去实现，所以它无法被linux mainline接受，还有一个更重要的部分，userspace部分ARM没有开源，只是以库的形式提供给购买了Mali GPU授权的SoC厂商，比如Rockchip，Amlogic。而且这套代码主要是为Android系统设计的，对debian、ubuntu这种系统的兼容性也不好。

看到这里，也许你就想骂ARM了，其实也不能完全怪他们，因为这并不是ARM独创的玩法，其他的GPU供应商也都这样玩，比如 Nvidia、Vivante、Imagination。大神 Linus 为这事还对Nvidia竖过中指呢，怒吼：“Nvidia，F*K you！”。

面对这种状况，很多人为了能够利用GPU加速，就只能使用SoC原厂提供的内核，和他们定制的系统，这种内核和系统一般都比较老。

如果想跑mainline的内核，基本就没法使用GPU加速了，这也是为什么我们目前看到的大部分开发板如果搭载了mainline内核，基本都不会有GPU加速功能，或者直接就不开图形显示功能。

但是也有一部分黑客们不满于这种封锁，他们勇于探索，积极尝试，逆向了ARM发布的二进制库，然后重写了针对ARM Mali GPU的开源驱动，最终在 Linux 5.2发布的时候合并到 mainline中：

• 针对 Mali-400/Mali-450 的驱动叫做 lima；
• 针对Mali-T6xx / Mali-T7xx / Mali-T8xx GPU和GXX 系列的叫做Panfrost；
• usersacpe部分的开源库叫做mesa，对Mali GPU的支持从mesa 19.2开始；

这里我们将学习如何在运行linux kernrl 6.3的RK3399开发板上开启GPU加速：RK3399 集成了Mali-T864 GPU，所以我们可以利用linux kernel的panfrost驱动 + userspace的mesa来解锁3D图形加速功能。

二、配置Panfrost

关于linux 6.3内核的下载和配置、编译参考：Rockchip RK3399 - 移植uboot 2023.04 & linux 6.3。

2.1 配置内核

2..1.1 panfrost GPU驱动

在linux内核根目录下执行make menuconfig命令，进入如下配置：

Device Drivers  --->     
    Graphics support  --->  
        <*> Panfrost (DRM support for ARM Mali Midgard/Bifrost GPUs)

默认编译到内核中或者以模块的形式加载都可以。

2.1.2 驱动代码

驱动位于drivers/gpu/drm/panfrost/文件夹下；

root@zhengyang:/work/sambashare/rk3399/linux-6.3# ll drivers/gpu/drm/panfrost/
总用量 1720
drwxrwxr-x  2 root root   4096 Jun  5 20:58 ./
drwxrwxr-x 64 root root  16384 Jun  5 20:22 ../-rw-rw-r--  1 root root    472 Aug  9  2019 Kconfig
-rw-rw-r--  1 root root    225 Aug  9  2019 Makefile-rw-rw-r--  1 root root   5934 Aug  9  2019 panfrost_devfreq.c
-rw-rw-r--  1 root root    441 Aug  9  2019 panfrost_devfreq.h-rw-rw-r--  1 root root   6427 Aug  9  2019 panfrost_device.c
-rw-rw-r--  1 root root   2678 Aug  9  2019 panfrost_device.h-rw-rw-r--  1 root root  11971 Aug  9  2019 panfrost_drv.c-rw-rw-r--  1 root root  11398 Aug  9  2019 panfrost_features.h
-rw-rw-r--  1 root root   2353 Aug  9  2019 panfrost_gem.c
-rw-rw-r--  1 root root    785 Aug  9  2019 panfrost_gem.h-rw-rw-r--  1 root root  10974 Aug  9  2019 panfrost_gpu.c
-rw-rw-r--  1 root root    586 Aug  9  2019 panfrost_gpu.h-rw-rw-r--  1 root root   3944 Aug  9  2019 panfrost_issues.h
-rw-rw-r--  1 root root  13584 Aug  9  2019 panfrost_job.c
-rw-rw-r--  1 root root   1428 Aug  9  2019 panfrost_job.h-rw-rw-r--  1 root root   9752 Aug  9  2019 panfrost_mmu.c
-rw-rw-r--  1 root root    486 Aug  9  2019 panfrost_mmu.h-rw-rw-r--  1 root root  14759 Aug  9  2019 panfrost_regs.h
-rw-rw-r--  1 root root    880 Aug  9  2019 TODO

驱动入口文件在panfrost_drv.c，在该文件我们可以看到支持的GPU型号；

static const struct of_device_id dt_match[] = {
        /* Set first to probe before the generic compatibles */
        { .compatible = "amlogic,meson-gxm-mali",
          .data = &amlogic_data, },
        { .compatible = "amlogic,meson-g12a-mali",
          .data = &amlogic_data, },
        { .compatible = "arm,mali-t604", .data = &default_data, },
        { .compatible = "arm,mali-t624", .data = &default_data, },
        { .compatible = "arm,mali-t628", .data = &default_data, },
        { .compatible = "arm,mali-t720", .data = &default_data, },
        { .compatible = "arm,mali-t760", .data = &default_data, },
        { .compatible = "arm,mali-t820", .data = &default_data, },
        { .compatible = "arm,mali-t830", .data = &default_data, },
        { .compatible = "arm,mali-t860", .data = &default_data, },
        { .compatible = "arm,mali-t880", .data = &default_data, },
        { .compatible = "arm,mali-bifrost", .data = &default_data, },
        { .compatible = "arm,mali-valhall-jm", .data = &default_data, },
        { .compatible = "mediatek,mt8183-mali", .data = &mediatek_mt8183_data },
        {}
};
MODULE_DEVICE_TABLE(of, dt_match);

static struct platform_driver panfrost_driver = {
        .probe          = panfrost_probe,
        .remove         = panfrost_remove,
        .driver         = {