8.2 子模块分析之CSI

（1）概述

每个IPU有两个同样的CSI接口，下图是两个IPU的CSI模块示意图：

每个CSI包括同步单元，逻辑接口，数据处理单元和sensor接口控制单元组成，如下所示：

CSI被外围的通用寄存器控制，同时是双buffer模式，CSI的主要作用是从sensor中获取数据，根据IPU时钟同步数据和控制信号然后将处理过的数据发送到DATA_DEST寄存器里面的目的地，目的地可以为SMFC，IC，VDI等等，这个过程可以从下图理解：

（2）CSI接口

从第一个图里面可以看出来，CSI支持两种类型的接口：并行接口和MIPI接口。所使用的接口类型需要在IPUx_CONF寄存器中的DATA_SOURCE位配置。

2.1 并行接口

在并行接口模式下，每个时钟信号下传输一个值（除了BT.1120模式，每个时钟信号下传输两个值），每个值可以为8～16位。具体是多少位的，需要在对应的IPUx_CSIx_SENS_CONF寄存器中的DATA_WIDTH位配置，如下所示：

CSI可以支持几种不同数据格式，具体使用哪个数据格式，需要在IPUx_CSIx_SENS_CONF寄存器中的CSI0_SENS_DATA_FORMAT中设置，解释如下：

有时候在芯片手册中的时序图与CSI中的时序图中的极性是相反的，这时候就需要设置输入的极性，在IPUx_CSIx_SENS_CONF寄存器中SENS_PIX_CLK_POL,DATA_POL, HSYNC_POL and VSYNC_POL中配置。

2.2 MIPI接口

MIPI接口模式下每个时钟信号下传输两个值，每个值是8bit。

当工作在这个模式下时，CSI能够处理4路输入信号，每一路信号都包含virtualchannel号和这一路的数据类型，通过DI(dataidentifier)来区分。只有MIPI_DI0这一路里面的数据能够发送到所有的目的地，其他路MIPI_DI1-3的数据只能发送到SMFC中。

在这种模式下，SENS_DATA_FORMAT和DATA_WIDTH位都被忽略，因为CSI的数据是从MCT_DI中传入的。具体有关MCT_DI的解释，需要去查看手册的《Chapter19 MIPI CSI to IPU Gasket (CSI2IPU)》那一章，暂时先不说。下面是IPUx_CSI0_DI的图示：

（3）测试模式

当IPUx_CSI0_TST_CTRL寄存器中的TEST_GEN_MODE位置1的话，就开启了测试模式，在这个模式下CSI会产生虚假的数据发送到目的地。

主要是设置IPUx_CSI0_TST_CTRL寄存器，如下所示：

（4）sensor与CSI的帧关系

sensor产生图像大小与CSI接收的大小是不同的，具体看下图就基本清楚了。

A：VSYNC信号确定的图像框。

B：HSYNC信号确定的图像框。

C：sensor传过来的图像框，这个框在SENS_FRM_WIDTHand SENS_FRM_HEIGHT里面配置。

D：CSI选择的图像框。其中HSC,VSC, ACT_FRM_HEIGHT 和ACT_FRM_WIDTH都是可以配置的。

（5）Timing/Datamode protocols

CSI可以工作在几个不同的Timing/Datamodeprotocols下，根据IPUx_CSI0_SENS_CONF寄存器中的CSI0_SENS_PRTCL位来选择使用哪种模式/协议。

下面分析几种模式/协议

5.1 Gated Mode

在这个模式下，VSYNC信号在每一帧开始的时候触发，HSYNC信号在每一行的开始和结束的时候触发，同时时钟信号一直在走。时序图如下：

5.2 Non-Gated Mode

在这个模式下，VSYNC用来确认一帧的开始，只有当有传输数据的时候，时钟信号才走，HSYNC信号没有使用。当在MIPI模式下的时候，应该使用这种模式。

5.3 BT.656 mode

在这种模式下，CSI工作在ITU-RBT.656协议下，时序信号（framestart, frame end, line start, lineend）嵌入在数据流中。有两个定时基准信号，一个在每个视频数据块的开始(Startof ActiveVideo，SAV)，另一个在每个视频数据块的结束(Endof Active Video，EAV)；每个定时基准信号由4个字的序列组成，格式如下：FF00 00 XY （16进制）头三个是固定前缀，第4个字包含定义第二场标识、场消隐状态和行消隐状态的信息。其中这4个字中的前三个字在CCIR_PRECOM（CCIR_CODE_3）中配置，第四个字在CCIR_CODE_1和CCIR_CODE_2中配置。为什么这里的寄存器名称为CCIR这么奇怪的名字？？？因为CCIR656是ITU-RBT656的旧称。同理，在程序中有关656和1120模式的名称都使用的CCIR。

关于这个协议的详细介绍可以从网上查，《入门视频采集与处理（BT656简介）》

http://www.cnblogs.com/s_agapo/archive/2012/04/08/2437775.html

《ITU-RBT.656 协议》

http://www.cnblogs.com/crazybingo/archive/2011/03/27/1996974.html

5.4 BT.1120 mode

这个模式又分为SDRmode和DDRmode。

上面这几种模式都涉及到IPUx_CSI0_CCIR_CODE_1～3这几个寄存器，如下所示：

上述的时钟模式设置在内核中是通过ipu_csi_init_interface函数来设置的。

（6）Packingto memory

从CSI中传入SMFC的数据是128-bit的，所以CSI需要对数据进行处理后才能发送给SMFC，下图是处理过程：

（7）Skippingframes

许多帧数据不需要发送到SMFC，所以就可以在CSI中跳过这些数据，不发送到SMFC。需要操作IPUx_CSI0_SKIP寄存器中的CSI0_SKIP_SMFC和CSI0_MAX_RATIO_SKIP_SMFC位，如下所示：

（8）CSI缺点

sensor的时钟不能比IPU时钟（HSP_CLK）大。

SENS_FRM_HEIGHT>= VSC + ACT_FRM_HEIGHT

SENS_FRM_WIDTH>= HSC + ACT_FRM_WIDTH

（9）代码实现

上述有关CSI的一些设置，是需要在驱动中通过代码来实现的，下面来分析有关的代码：

9.1驱动中定义了一个有关CSI的结构体类型：

typedef struct { 
	unsigned data_width:4; 
	unsigned clk_mode:3; 
	unsigned ext_vsync:1; 
	unsigned Vsync_pol:1; 
	unsigned Hsync_pol:1; 
	unsigned pixclk_pol:1; 
	unsigned data_pol:1; 
	unsigned sens_clksrc:1; 
	unsigned pack_tight:1; 
	unsigned force_eof:1; 
	unsigned data_en_pol:1; 
	unsigned data_fmt; 
	unsigned csi; 
	unsigned mclk; 
} ipu_csi_signal_cfg_t

这个结构体中定义了CSI需要用到的很多参数，信号的极性和模式。后面我们就可以看到，在驱动中去设置这个结构体，并根据这个结构体里面的参数去设置IPU中有关CSI的寄存器的值。

9.2 开发板可以支持多种摄像头设备，而每个摄像头设备的具体参数也是不同的，所以，驱动程序中需要使用vidioc_int_g_ifparm和vidioc_int_g_fmt_cap函数来询问当前的摄像头设备它的各个参数是什么，然后根据获得的参数来设置有关CSI的寄存器。

以ov5640_mipi为例来说明，当驱动程序中调用vidioc_int_g_ifparm时，最终会调用到ov5640_mipi.c中的ioctl_g_ifparm函数：

static int ioctl_g_ifparm(struct v4l2_int_device *s, struct v4l2_ifparm *p) 
{ 
	if (s == NULL) { 
		pr_err("   ERROR!! no slave device set!\n"); 
		return -1; 
	} 

	memset(p, 0, sizeof(*p)); 
	p->u.bt656.clock_curr = ov5640_data.mclk; 
	pr_debug("   clock_curr=mclk=%d\n", ov5640_data.mclk); 
	p->if_type = V4L2_IF_TYPE_BT656; 
	p->u.bt656.mode = V4L2_IF_TYPE_BT656_MODE_NOBT_8BIT; 
	p->u.bt656.clock_min = OV5640_XCLK_MIN; 
	p->u.bt656.clock_max = OV5640_XCLK_MAX; 
	p->u.bt656.bt_sync_correct = 1;  /* Indicate external vsync */ 

	return 0; 
}

之后驱动程序会根据上面设置的这些内容来对csi_param进行设置，这个csi_param是9.1中所说的ipu_csi_signal_cfg_t类型的，如下所示：

	csi_param.data_width = 0; 
	csi_param.clk_mode = 0; 
	csi_param.ext_vsync = 0; 
	csi_param.Vsync_pol = 0; 
	csi_param.Hsync_pol = 0; 
	csi_param.pixclk_pol = 0; 
	csi_param.data_pol = 0; 
	csi_param.sens_clksrc = 0; 
	csi_param.pack_tight = 0; 
	csi_param.force_eof = 0; 
	csi_param.data_en_pol = 0; 
	csi_param.data_fmt = 0; 
	csi_param.csi = cam->csi; 
	csi_param.mclk = 0; 

	pr_debug("   clock_curr=mclk=%d\n", ifparm.u.bt656.clock_curr); 
	if (ifparm.u.bt656.clock_curr == 0) 
		csi_param.clk_mode = IPU_CSI_CLK_MODE_CCIR656_INTERLACED; 
	else 
		csi_param.clk_mode = IPU_CSI_CLK_MODE_GATED_CLK; 

	csi_param.pixclk_pol = ifparm.u.bt656.latch_clk_inv; 

	if (ifparm.u.bt656.mode == V4L2_IF_TYPE_BT656_MODE_NOBT_8BIT) { 
		csi_param.data_width = IPU_CSI_DATA_WIDTH_8; 
	} else if (ifparm.u.bt656.mode 
				== V4L2_IF_TYPE_BT656_MODE_NOBT_10BIT) { 
		csi_param.data_width = IPU_CSI_DATA_WIDTH_10; 
	} else { 
		csi_param.data_width = IPU_CSI_DATA_WIDTH_8; 
	} 

	csi_param.Vsync_pol = ifparm.u.bt656.nobt_vs_inv; 
	csi_param.Hsync_pol = ifparm.u.bt656.nobt_hs_inv; 
	csi_param.ext_vsync = ifparm.u.bt656.bt_sync_correct;

驱动程序中继续调用vidioc_int_g_fmt_cap函数来获取摄像头的像素格式，以及宽度高度等信息，最终会调用到ov5640_mipi.c中的ioctl_g_fmt_cap函数：

static int ioctl_g_fmt_cap(struct v4l2_int_device *s, struct v4l2_format *f) 
{ 
	struct sensor_data *sensor = s->priv; 
	f->fmt.pix = sensor->pix; 
	return 0; 
}

获取到这些参数后，根据它们来设置驱动中cam结构体里面的参数，如下所示：

	cam_fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; 
	vidioc_int_g_fmt_cap(cam->sensor, &cam_fmt); 
	pr_debug("   g_fmt_cap returns widthxheight of input as %d x %d\n", 
			cam_fmt.fmt.pix.width, cam_fmt.fmt.pix.height); 

	csi_param.data_fmt = cam_fmt.fmt.pix.pixelformat; 

	cam->crop_bounds.top = cam->crop_bounds.left = 0; 
	cam->crop_bounds.width = cam_fmt.fmt.pix.width; 
	cam->crop_bounds.height = cam_fmt.fmt.pix.height;

最终通过上面这些函数调用，驱动程序已经知道了摄像头设备的信号极性，模式，像素信息等等，接下来就需要将这些信息设置到CSI相关的寄存器中，最主要的是ipu_csi_init_interface函数：

int32_t 
ipu_csi_init_interface(struct ipu_soc *ipu, uint16_t width, uint16_t height, 
	uint32_t pixel_fmt, ipu_csi_signal_cfg_t cfg_param) 
{ 
	uint32_t data = 0; 
	uint32_t csi = cfg_param.csi; 

	/* Set SENS_DATA_FORMAT bits (8, 9 and 10) 
	   RGB or YUV444 is 0 which is current value in data so not set 
	   explicitly 
	   This is also the default value if attempts are made to set it to 
	   something invalid. */ 
	switch (pixel_fmt) { 
	case IPU_PIX_FMT_YUYV: 
		cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_YUV422_YUYV; 
		break; 
	case IPU_PIX_FMT_UYVY: 
		cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_YUV422_UYVY; 
		break; 
	case IPU_PIX_FMT_RGB24: 
	case IPU_PIX_FMT_BGR24: 
		cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_RGB_YUV444; 
		break; 
	case IPU_PIX_FMT_GENERIC: 
	case IPU_PIX_FMT_GENERIC_16: 
		cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_BAYER; 
		break; 
	case IPU_PIX_FMT_RGB565: 
		cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_RGB565; 
		break; 
	case IPU_PIX_FMT_RGB555: 
		cfg_param.data_fmt = CSI_SENS_CONF_DATA_FMT_RGB555; 
		break; 
	default: 
		return -EINVAL; 
	} 

	/* Set the CSI_SENS_CONF register remaining fields */ 
	data |= cfg_param.data_width << CSI_SENS_CONF_DATA_WIDTH_SHIFT | 
		cfg_param.data_fmt << CSI_SENS_CONF_DATA_FMT_SHIFT | 
		cfg_param.data_pol << CSI_SENS_CONF_DATA_POL_SHIFT | 
		cfg_param.Vsync_pol << CSI_SENS_CONF_VSYNC_POL_SHIFT | 
		cfg_param.Hsync_pol << CSI_SENS_CONF_HSYNC_POL_SHIFT | 
		cfg_param.pixclk_pol << CSI_SENS_CONF_PIX_CLK_POL_SHIFT | 
		cfg_param.ext_vsync << CSI_SENS_CONF_EXT_VSYNC_SHIFT | 
		cfg_param.clk_mode << CSI_SENS_CONF_SENS_PRTCL_SHIFT | 
		cfg_param.pack_tight << CSI_SENS_CONF_PACK_TIGHT_SHIFT | 
		cfg_param.force_eof << CSI_SENS_CONF_FORCE_EOF_SHIFT | 
		cfg_param.data_en_pol << CSI_SENS_CONF_DATA_EN_POL_SHIFT; 

	_ipu_get(ipu); 

	mutex_lock(&ipu->mutex_lock); 

	ipu_csi_write(ipu, csi, data, CSI_SENS_CONF); 
/* 将摄像头的信号信息写到 CSI_SENS_CONF寄存器中，可以对照芯片手册来看看这些位都设置成了什么。 */

	/* Setup sensor frame size */ 
	ipu_csi_write(ipu, csi, (width - 1) | (height - 1) << 16, CSI_SENS_FRM_SIZE); 
/* 将摄像头的frame宽度和高度信息写到 CSI_SENS_FRM_SIZE寄存器中。 */

	/* Set CCIR registers */ 
	if (cfg_param.clk_mode == IPU_CSI_CLK_MODE_CCIR656_PROGRESSIVE) { 
		ipu_csi_write(ipu, csi, 0x40030, CSI_CCIR_CODE_1); 
		ipu_csi_write(ipu, csi, 0xFF0000, CSI_CCIR_CODE_3); 
	} else if (cfg_param.clk_mode == IPU_CSI_CLK_MODE_CCIR656_INTERLACED) { 
		if (width == 720 && height == 625) { 
			/* PAL case */ 
			/* 
			 * Field0BlankEnd = 0x6, Field0BlankStart = 0x2, 
			 * Field0ActiveEnd = 0x4, Field0ActiveStart = 0 
			 */ 
			ipu_csi_write(ipu, csi, 0x40596, CSI_CCIR_CODE_1); 
			/* 
			 * Field1BlankEnd = 0x7, Field1BlankStart = 0x3, 
			 * Field1ActiveEnd = 0x5, Field1ActiveStart = 0x1 
			 */ 
			ipu_csi_write(ipu, csi, 0xD07DF, CSI_CCIR_CODE_2); 

			ipu_csi_write(ipu, csi, 0xFF0000, CSI_CCIR_CODE_3); 

		} else if (width == 720 && height == 525) { 
			/* NTSC case */ 
			/* 
			 * Field0BlankEnd = 0x7, Field0BlankStart = 0x3, 
			 * Field0ActiveEnd = 0x5, Field0ActiveStart = 0x1 
			 */ 
			ipu_csi_write(ipu, csi, 0xD07DF, CSI_CCIR_CODE_1); 
			/* 
			 * Field1BlankEnd = 0x6, Field1BlankStart = 0x2, 
			 * Field1ActiveEnd = 0x4, Field1ActiveStart = 0 
			 */ 
			ipu_csi_write(ipu, csi, 0x40596, CSI_CCIR_CODE_2); 
			ipu_csi_write(ipu, csi, 0xFF0000, CSI_CCIR_CODE_3); 
		} else { 
			dev_err(ipu->dev, "Unsupported CCIR656 interlaced " 
					"video mode\n"); 
			mutex_unlock(&ipu->mutex_lock); 
			_ipu_put(ipu); 
			return -EINVAL; 
		} 
		_ipu_csi_ccir_err_detection_enable(ipu, csi); 
	} else if ((cfg_param.clk_mode == 
			IPU_CSI_CLK_MODE_CCIR1120_PROGRESSIVE_DDR) || 
		(cfg_param.clk_mode == 
			IPU_CSI_CLK_MODE_CCIR1120_PROGRESSIVE_SDR) || 
		(cfg_param.clk_mode == 
			IPU_CSI_CLK_MODE_CCIR1120_INTERLACED_DDR) || 
		(cfg_param.clk_mode == 
			IPU_CSI_CLK_MODE_CCIR1120_INTERLACED_SDR)) { 
		ipu_csi_write(ipu, csi, 0x40030, CSI_CCIR_CODE_1); 
		ipu_csi_write(ipu, csi, 0xFF0000, CSI_CCIR_CODE_3); 
		_ipu_csi_ccir_err_detection_enable(ipu, csi); 
	} else if ((cfg_param.clk_mode == IPU_CSI_CLK_MODE_GATED_CLK) || 
		   (cfg_param.clk_mode == IPU_CSI_CLK_MODE_NONGATED_CLK)) { 
		_ipu_csi_ccir_err_detection_disable(ipu, csi); 
	} 
/* 这一段代码是有关CCIR相关的设置，在上面介绍数据传输协议的时候说了，当用BT.656或者BT.1120模式传输的时候，需要设置 定时基准信号中4个字的序列组成，就是在这几个寄存器中设置的。 */

	mutex_unlock(&ipu->mutex_lock); 

	_ipu_put(ipu); 

	return 0; 
} 
EXPORT_SYMBOL(ipu_csi_init_interface);

另外，设置CSI的相关函数还有ipu_csi_set_window_size和ipu_csi_set_window_pos，这两个函数比较简单，就不分析了。

通过如上的代码，就可以设置好CSI相关的寄存器。