RK3588-Camera:MIPI-CSI调试之通路解析

原创 已于 2023-08-15 11:49:12 修改 · 4.5k 阅读 · 58 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#驱动开发 #硬件工程 #arm开发 #物联网 #嵌入式硬件

于 2023-05-17 15:33:03 首次发布
文章详细介绍了RK3588平台的Camera通路，包括MIPI-CSI接口、ISP模块、VICAP和多个sensor的支持情况。内容涉及硬件通路框图、dphy的工作模式以及直通和回读模式的详细解析，还提供了单路Camera的dts配置示例。同时，文章给出了调试技巧和相关日志查看方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、简介

  • [RK3588从入门到精通] 专栏总目录

  • 本文介绍RK3588平台的Camera:MIPI-CSI调试之通路解析

  • MIPI联盟，即移动产业处理器接口（Mobile Industry Processor Interface 简称MIPI）联盟。MIPI（移动产业处理器接口）是 MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。

    目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化，从而减少手机设计的复杂程度和增加设计灵活性。

  • CSI & DSI

    • CSI ( Camera Serial Interface )：摄像头接口

    • DSI ( Display Serial Interface )：显示接口

二、 名词解释：

  • ISP ( Image Signal Processor )： 即图像信号处理模块， 主要作用是对前端图像传感器输出的信号做后期处理，依赖于 ISP 才能在不同的光学条件下都能较好的还原现场细节。

  • VICAP（ Video capture ）：视频捕获单元

三、RK3588 的camera通路:

多sensor支持：

  • 单路硬件isp最多支持4路复用，isp复用情况支持分辨率如下：
  • 2路复用：最大分辨率3840x2160，dts对应配置2路rkisp_vir设备。
  • 3路或4路复用：最大分辨率2560x1536，dts对应配置3或4路rkisp_vir设备。
  • 硬件支持最多采集7路sensor：6mipi + 1dvp，多sensor软件通路如下：

下图是RK3588 camera连接链路示意图，可以支持7路camera。

在这里插入图片描述

四、 链路解析：

在这里插入图片描述

  • 图中：mipi camera2—> csi2_dphy1 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2

  • 对应节点：imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2

  • 链接关系：sensor—> csi2 dphy---->mipi csi host—>vicap

  • 实线链路解析： Camera sensor —> dphy —> 通过mipi_csi2模块解析mipi协议—> vicap ( rkcif节点代表vicap )

  • 虚线链路解析：vicap —> rkcif_mipi_lvds2_sditf —> isp

    每个vicap节点与isp的链接关系，通过对应虚拟出的XXX_sditf来指明链接关系。

五、RK3588硬件通路框图

在这里插入图片描述

  • rk3588支持2个isp硬件，每个isp设备可虚拟出多个虚拟节点，软件上通过回读的方式，依次从ddr读取每一路的图像数据进isp处理。对于多摄方案，建议将数据流平均分配到两个isp上。

  • 回读：指数据经过vicap采集到ddr，应用获取到数据后，将buffer地址推送给isp，isp再从ddr获取图像数据。

六、详细解析：

  1. imx415 : Camera sensor

  2. csi2_dphy0 ： rk3588支持2个dphy硬件，这里我们称之为dphy0_hw/dphy1_hw ，，两个dphy硬件都可以工作在full mode 和split mode两种模式下。

当使用dphy0_hw:

  • full mode：节点名称使用csi2_dphy0，最多支持4 lane。
    当dphy0_hw使用full mode时，链路需要按照csi2_dphy1这条链路来配置，但是节点名称csi2_dphy1需要修改为csi2_dphy0，软件上是通过phy的序号来区分phy使用的模式。

  • split mode：拆分成2个phy使用，分别为csi2_dphy1（使用0/1 lane）、csi2_dphy2(使用2/3 lane)，每个phy最多支持2 lane。

当使用dphy1_hw:

  • full mode：节点名称使用csi2_dphy3，最多支持4 lane。
    当dphy1_hw使用full mode时，链路需要按照csi2_dphy4这条链路来配置，但是节点名称csi2_dphy4需要修改为csi2_dphy3，软件上是通过phy的序号来区分phy使用的模式。

  • split mode：拆分成2个phy使用，分别为csi2_dphy4（使用0/1 lane）、csi2_dphy5(使用2/3 lane)，每个phy最多支持2 lane。

  1. dcphy：
    rk3588支持两个dcphy，节点名称分别为csi2_dcphy0/csi2_dcphy1。每个dcphy硬件支持RX/TX同时使用，对于camera输入使用的是RX。支持DPHY/CPHY协议复用；需要注意的是同一个dcphy的TX/RX只能同时使用DPHY或同时使用CPHY。其他dcphy参数请查阅rk3588数据手册。

  2. 使用上述mipi phy节点，需要把对应的物理节点配置上。
    （csi2_dcphy0_hw/csi2_dcphy1_hw/csi2_dphy0_hw/csi2_dphy1_hw）

  3. 每个mipi phy都需要一个csi2模块来解析mipi协议，节点名称分别为mipi0_csi2~mipi5_csi2。

  4. rk3588所有camera数据都需要通过vicap，再链接到isp。rk3588仅支持一个vicap硬件，这个vicap支持同时输入6路mipi phy，及一路dvp数据，所以我们将vicap分化成rkcif_mipi_lvds~rkcif_mipi_lvds5、rkcif_dvp等7个节点，各个节点的绑定关系需要严格按照框图的节点序号配置。

  5. 每个vicap节点与isp的链接关系，通过对应虚拟出的XXX_sditf来指明链接关系。

  6. rk3588支持2个isp硬件，每个isp设备可虚拟出多个虚拟节点，软件上通过回读的方式，依次从ddr读取每一路的图像数据进isp处理。对于多摄方案，建议将数据流平均分配到两个isp上。

  7. 直通与回读模式：
    •直通：指数据经过vicap采集，直接发送给isp处理，不存储到ddr。需要注意的是hdr直通时，只有短帧是真正的直通，长帧需要存在ddr，isp再从ddr读取。

    •回读：指数据经过vicap采集到ddr，应用获取到数据后，将buffer地址推送给isp，isp再从ddr获取图像数据。

    •在dts配置时，一个isp硬件，如果只配置一个虚拟节点，默认使用直通模式，如果配置了多个虚拟节点默认使用回读模式。

七、单路Camera的dts配置说明：( 以imx415摄像头为例 )

  • 案例场景：这里使用的是csi2_dphy0的单路camera配置：
  • 链路配置： imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2
&i2c3 {
	status = "okay";

	imx415: imx415@1a {
		status = "okay";
		compatible = "sony,imx415";
		reg = <0x1a>;
		clocks = <&cru CLK_MIPI_CAMARAOUT_M3>;
		clock-names = "xvclk";
		pinctrl-names = "default";
		pinctrl-0 = <&mipim0_camera3_clk>;
		power-domains = <&power RK3588_PD_VI>;
		pwdn-gpios = <&gpio1 RK_PB0 GPIO_ACTIVE_HIGH>;
		reset-gpios = <&gpio4 RK_PA0 GPIO_ACTIVE_LOW>;
		rockchip,camera-module-index = <0>;
		rockchip,camera-module-facing = "back";
		rockchip,camera-module-name = "CMK-OT2022-PX1";
		rockchip,camera-module-lens-name = "IR0147-50IRC-8M-F20";
		port {
			imx415_out0: endpoint {
				remote-endpoint = <&mipidphy0_in_ucam0>;
				data-lanes = <1 2 3 4>;
			};
		};
	};

	camera_imx219: camera-imx219@10 {
		status = "disabled";
		compatible = "sony,imx219";
		reg = <0x10>;

		clocks = <&clk_cam_24m>;
		clock-names = "xvclk";

		rockchip,camera-module-index = <0>;
		rockchip,camera-module-facing = "back";
		rockchip,camera-module-name = "rpi-camera-v2";
		rockchip,camera-module-lens-name = "default";

		port {
			imx219_out0: endpoint {
				remote-endpoint = <&mipidphy0_in_ucam1>;
				data-lanes = <1 2>;
			};
		};
	};
};

&csi2_dphy0_hw {
	status = "okay";
};

&csi2_dphy0 {
	status = "okay";

	ports {
		#address-cells = <1>;
		#size-cells = <0>;

		port@0 {
			reg = <0>;
			#address-cells = <1>;
			#size-cells = <0>;

			mipidphy0_in_ucam0: endpoint@1 {
				reg = <1>;
				remote-endpoint = <&imx415_out0>;
				data-lanes = <1 2 3 4>;
			};

			mipidphy0_in_ucam1: endpoint@2 {
				reg = <2>;
				remote-endpoint = <&imx219_out0>;
				data-lanes = <1 2>;
			};
		};

		port@1 {
			reg = <1>;
			#address-cells = <1>;
			#size-cells = <0>;

			csidphy0_out: endpoint@0 {
				reg = <0>;
				remote-endpoint = <&mipi2_csi2_input>;
			};
		};
	};
};

&mipi2_csi2 {
	status = "okay";

	ports {
		#address-cells = <1>;
		#size-cells = <0>;

		port@0 {
			reg = <0>;
			#address-cells = <1>;
			#size-cells = <0>;

			mipi2_csi2_input: endpoint@1 {
				reg = <1>;
				remote-endpoint = <&csidphy0_out>;
			};
		};

		port@1 {
			reg = <1>;
			#address-cells = <1>;
			#size-cells = <0>;

			mipi2_csi2_output: endpoint@0 {
				reg = <0>;
				remote-endpoint = <&cif_mipi2_in0>;
			};
		};
	};
};

&rkcif {
	status = "okay";
};

&rkcif_mipi_lvds2 {
	status = "okay";

	port {
		cif_mipi2_in0: endpoint {
			remote-endpoint = <&mipi2_csi2_output>;
		};
	};
};

&rkcif_mipi_lvds2_sditf {
	status = "okay";

	port {
		mipi_lvds2_sditf: endpoint {
			remote-endpoint = <&isp0_vir0>;
		};
	};
};

&rkcif_mmu {
	status = "okay";
};

&rkisp0 {
	status = "okay";
};

&isp0_mmu {
	status = "okay";
};

&rkisp0_vir0 {
	status = "okay";

	port {
		#address-cells = <1>;
		#size-cells = <0>;

		isp0_vir0: endpoint@0 {
			reg = <0>;
			remote-endpoint = <&mipi_lvds2_sditf>;
		};
	};
};

&pinctrl {
	camera {
		cam_pwdn_gpio: cam-pwdn-gpio {
			rockchip,pins = <1 RK_PB0 RK_FUNC_GPIO &pcfg_pull_up>;
		};
	};
};

八、 调试技巧

8.1 i2c设备的通用调试命令：查看设备是否挂载到i2c总线下：

i2cdetect -y 3

8.2 摄像命令

  • Linux系统摄像命令：
gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw,format=NV12,width=3840,height=2160, framerate=30/1 ! xvimagesink

  • Android系统：

    Android系统自带相机APP。点击APP，看摄像画面是否正常显示。

8.3 imx415 相关的log信息

dmesg | grep imx415

8.4 查看拓扑结构

 media-ctl -d /dev/media0 -p

ArmSoM 产品介绍： http://wiki.armsom.org/index.php/ArmSoM-w3

ArmSoM 技术论坛： http://forum.armsom.org/

RK3588平台Camera MIPI-CSI驱动调试思路分析
bingdund的博客
03-18 738
MIPI联盟即移动产业处理器接口（Mobile Industry Processor Interface 简称MIPI）联盟。MIPI（移动产业处理器接口）是 MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化，从而减少手机设计的复杂程度和增加设计灵活性。• （CSI）( Camera Serial Interface )：摄像头接口。
RK3588开发笔记-MIPI-CSI接口视频解码芯片XS9922B调试
flypig has a dream！
10-09 5080
Rockchip RK3588 是一款高性能的处理器，支持多种摄像头接口，包括 MIPI（Mobile Industry Processor Interface）接口。MIPI是一种用于移动设备和嵌入式系统中的摄像头、显示器和其他传感器设备的串行接口标准。MIPI是MIPI联盟发起的为移动应用处理器制定的开放标准。CSI-2（Camera Serial Interface 2）是MIPI 联盟定义的另一种高速接口，主要用于摄像模组和处理器之间的连接。
【RK3588 开发笔记——mipi摄像头调试】
热门推荐
W_B_C的博客
11-14 1万+
【RK3588 开发笔记——mipi摄像头调试】
rk3588 camera bringup记录
MATLABCSD的博客
09-27 2364
rockchip 3588 camera bringup
RK3588部署三个USB摄像头的yolov5模型
最新发布
lijiemeiyyds的博客
05-26 1723
本文介绍了在RK3588开发板（Ubuntu 22.04系统）上部署多摄像头YOLOv5识别模型的过程。首先完成环境搭建，安装Python3.10.12及相关依赖库；然后解压飞凌官方提供的模型包并安装RKNN推理工具。针对多摄像头需求，作者修改了官方单摄像头Demo，实现了支持3个摄像头（video74/76/78）并行处理的Python程序，包含线程管理、帧率计算和显示功能。目前模型平均帧率为24FPS，NPU三核占用率约50%。文章还列举了常见错误（如Xshell图形化问题、Python版本要求）及后续
RK3588-Camera:MIPI-CSI及ISP调试之通路解析
YEYUANGEN的专栏
07-17 6869
本文介绍RK3588平台的Camera:MIPICSI调试之通路解析MIPI联盟，即移动产业处理器接口（Mobile Industry Processor Interface 简称MIPI）联盟。MIPI（移动产业处理器接口）是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化，从而减少手机设计的复杂程度和增加设计灵活性。CSI &DSI。
基于RK3588J的6路MIPI CSI视频采集案例分享，多路视频系统必看！
创龙，嵌入式一体化解决方案商
07-30 2422
本案例实现6路摄像头的图像采集，并对图像进行缩放和拼接处理，最终通过HDMI显示屏进行显示。（3）包含2个MIPI CSI DCPHY接口（MIPI CSI DPHY/CPHY复用），支持MIPI CPHY V1.1标准，每个MIPI CSI DCPHY支持4Lane数据通道，每Lane最高2.5Gbps。5个摄像头接口配置：2个MIPI CSI DCPHY(4Lane)接口 + 1个MIPI CSI DPHY(4Lane)接口 + 2个MIPI CSI DPHY(2Lane)接口；
图像检测系统基于RK3588的硬件电路设计（四）MIPI CSI接口、HDMI TX接口、Type-C接口
creeper_boom的博客
02-24 3393
1、两组USB3.0高速差分信号线和两组USB2.0兼容差分信号线，因为需要考虑正反插，所以设有两组。CC的两引脚的电平为上下浮动，当接入Type-C插头时，CC两个引脚一个会被拉高，一个会被拉低，从而判断插入方向。电子设备可以借着CEC信号让使用者控制HDMI接口上所连接的装置，比如单键播放，系统待机，可以实现由单一遥控器控制所有HDMI连接的装置。3、SBU1和SBU2为辅助信号，在不同的应用场景具有不同的用途，例如在ALT MODE模式下进行DP信号传输时，作为。DxP\DxN：四对差分信号接收端。
RK3588 camera调试：HDR调试（IMX577）
qq_34341546的博客
06-06 7929
RK3588 camera imx577 HDR模式调试
rk3588s-摄像头适配gc8034
Yxx8066的博客
04-23 1568
若还打开失败，需要看下XML中文件配置是否与DTS配置信息一致，或者XML参数配置是否有异常；MIPI摄像头是有上电时序要求，具体时序要查看sensor芯片对应的datasheet进行修改，如果时序不满足，sensor无法正常，此时用i2ctool去查看设备可能无法扫面到设备，即是i2c设备找不到。RK3588或者RK3588S有路MIPI-PHY，驱动开发工程师需要根据对应的硬件原图进行配置，以下会讲解分别使用MIPI-DPHY和MIPI-D/CPHY如何在DTS配置mipi摄像头的回环链路。
RK3588 camera的链路
qq_39971579的博客
05-07 814
RK3588 有两个 MIPI DPHY CSI RX，都支持 MIPI V1.2 版本，每个通道最大数据传输速率为 2.5Gbps。
飞凌嵌入式RK3576开发板的MIPI-CSI调试——通路解析
飞凌嵌入式
07-19 1879
飞凌嵌入式最新推出的OK3576-C开发板拥有丰富的资源接口，其中支持5个CSI-2接口，意味着最多可同时支持5路摄像头的输入。本文介绍了RK3576处理器的Camera通路，以及如何配置MIPI-CSI摄像头的不同输出格式。
RK3588的mipicsi与Fpga通信
m0_60805802的博客
12-09 1645
在进行调试之前需要明确一点，fpga那边给rk3588通过mipi协议传输数据，所以可以把它当做是摄像头模组处理就行。 对于标准的mipi接口摄像头的处理会有datasheet，里面会介绍寄存器的说明以及上电初始化的时序等等，而这一类fpga是不需要驱动对它进行初始化只需要关注如何接受它给过来的数据就行了。
39-Rk628D 在 RK3588s平台上的驱动移植
ma_cainiao_ming的博客
09-23 961
通过RK628D转接芯片，实现hdmi 到 mipi 的4k视频输入
rk3588调试imx415记录
m0_60805802的博客
02-21 2093
分享适配imx415的软件配置以及一些关键的调试命令
RK3588s Camera ISP调优详解（一）ISP调试工具及环境配置（附下载途径）
zongheng_raobo的博客
07-13 3948
本文主要介绍了rkisp tuner工具的连接与使用，并附上了工具及依赖库的下载地址
rk3568mipi摄像头调试(gc2385 + gc2053)
weixin_71997855的博客
03-14 4456
rk3568mipi摄像头调试(gc2385 + gc2053)
瑞芯微RK3588 camera驱动总结三调试
huntenganwei的博客
09-01 5163
先介绍一些很有用的指令用于打印设备的媒体管道拓扑结构。媒体管道拓扑结构描述了多媒体设备内部各组件之间的连接关系，包括视频输入、视频输出、编码器、解码器、ISP（图像信号处理器）等组件之间的连接。这二个子指令可以查看具体的rkisp_mainpath和rkisp_selfpath查找并显示目录下所有video*子目录中的name文件内容的命令。这个命令可以帮助你快速了解系统中有哪些视频设备，并且每个设备的名称是什么。3.这几个v4l2的指令也很有用列出系统中所有可用的视频设备及其相关信息。
RK3588 设置mipi csi-2 连续时钟
04-10
### RK3588 MIPI CSI-2 连续时钟配置 在RK3588平台上，MIPI CSI-2接口支持多种工作模式，其中包括连续时钟模式（Continuous Clock Mode）。这种模式下，即使数据传输暂停，差分时钟信号仍然保持活动状态。以下是有关如何配置该功能的关键点： #### 配置概述 为了启用连续时钟模式，在硬件设计阶段需确保CSI接收器能够处理持续的时钟信号[^1]。此外，软件层面也需要通过寄存器编程来激活此特性。 具体来说，`csi_rx_hs_clk_phy`中的`dphy_clk`作为输入差分时钟源被引入到系统中[^1]。当进入低功耗状态或者无有效像素流期间，默认情况下可能会关闭高速时钟；然而，在某些应用场景里维持恒定频率对于同步操作至关重要，则需要开启continuous clock选项。 #### 寄存器设置示例 下面给出一段伪代码表示可能涉及的部分寄存器设定过程: ```c // 假设这些地址对应于实际设备树节点下的偏移量 #define REG_CSI_CONTROL_BASE (0xXXXXXX00) #define BIT_CONTINUOUS_CLOCK_EN (1 << 7) void enable_continuous_clock(void){ volatile uint32_t *reg = (uint32_t *)REG_CSI_CONTROL_BASE; // 设置连续时钟使能位 *reg |= BIT_CONTINUOUS_CLOCK_EN; // 可选:确认更改已生效 while((*reg & BIT_CONTINUOUS_CLOCK_EN) != BIT_CONTINUOUS_CLOCK_EN); } ``` 上述函数展示了如何通过对特定控制基址写入相应比特掩码来启动连续时钟机制。注意这里仅提供了一个简化版模型，真实环境还需要考虑更多因素比如电源管理单元协调以及具体的平台差异调整等问题。 另外值得注意的是，在使用过程中如果存在多个slave device连接至同一个master controller上的话,那么就需要利用camera control interface(CCI)[^2],即基于I²C协议实现各自独立参数调节等功能. #### 软件驱动层面上的支持情况 目前主流Linux kernel版本已经包含了针对rockchip系列soc(may include rk3588)较为完善的mipi csi子系统框架支持.开发者可以查阅官方文档获取最新进展并参照其中实例完成定制化需求开发流程. --- 相关问题
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ArmSoM开源硬件

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值