一款裸眼3d的双目视觉深度处理芯片

接上一篇博客 [一款人脸识别的芯片内部]，继续分享下我接触到的双目立体视觉芯片

原图

如图，这是一幅简化之后的双目立体视觉芯片内部结构。芯片可以外接最多3个sensor，左边的MIPI0，1可以是两个相同类型的IR，也可以是相同类型的RGB sensor，分别代表左右眼，右边的MIPI2 只能接入RGB sensor。一般来说，MIPI0，1接入的sensor 是输入小尺寸图像数据流，用于产生深度和校准信息，MIPI2上接大尺寸的sensor，产生实时预览的大尺寸图像。MIPI0，1，2 上sensor可以通过被动模式同步触发相同的脉冲，实现3颗sensor输出的帧同步。

MIPI0，1，2上的3路 sensor 图像数据流 经过input switch 的开关矩阵配置，输入到芯片的内部，在芯片内部处理后，最多输出5路数据流给到外部，这5路数据分别 是MIPI0，1经过isp 所在通路分流出来的左右sensor效果图，MIPI0，1双目产生的depth数据流，MIPI0，1双目产生的GPM 校准数据流，MIPI2 产生的单独的mjpeg 图像数据流。这5路数据流通过output switch 这个任意通过不同的方式输出，可以支持usb，以太网，mipi 这三类传输通道，无缝地实现硬件上的高速传输。

分块图

将芯片内部划成下面的block 来详细描述，这样便于描述各个通路上的数据流处理的行为。

如图，MIPI0，1 首先输入的是两个irisp 所在的模块通路，这两个通路命名为isp0，1 通路，下方两个switch 往下的通路命名为out0，1 通路，depth所在模块命名为depth通路，gpm 模块所在通路命名为gpm 通路，MIPI2 这条通路命名为mjpeg 通路。其中isp0 和1通路上对应处理模块一致，out0，1通路上对应处理模块一致，分别用于支持左右眼的效果调校。

isp0，1通路上的数据流经过vid in 处理后，如果是raw RGB的数据流,那就通过配置bayer2y模块转换成灰度图像的数据流，如果是IR 格式的数据流，那就不打开bayer2y模块。然后灰度图像数据流可以通过irisp 简单的实现图像增强，随后经过pre_proc1 预处理，再经过rectify 模块实现像素坐标系到世界坐标系的转换，消除安装上的机械角度的误差。然后经过post_proc1 后处理。 分别可以选择进入out通路，depth通路，gpm 通路，三种输入的入口。

out0，1 是isp0，1 通路的不同环节的输出，用于在在outswitch 之后 对比图像的效果，switch 开关可以选择vid in之后的原始未处理图像，也可以选择irisp 之后的增强图像，还可以选择isp0，1 最终处理完毕的图像。最终输出到output switch。这在调试深度和自校准通路的时候提供很大的参考便利。另外这条通路还是实现rectify模块的标定，将MIPI0，1 过来的sensor 图像拉成完全垂直于图像Z轴的图像，实现两个isp输入到depth 上的左右眼图像完全平行，符合视察计算的基本模型。

depth 通路是计算深度的通路，将isp0，1 处理后的左右眼图像输入，通过depth 模块内部的各种算法计算，产生初步的深度图，然后经过pre_proc2 预处理，随后经过D2C，转换成各个像素点视差图，然后通过post_proc1 后处理，再经过D2D，变换成实际的精确深度图。最终输出到output switch。

gpm 通路是计算isp0，1 处理后的左右眼图像输入通路的校准信息，如果是自动校准方式，校准后的数据直接作用到isp1 的rectify模块上。如果是手动方式，产生的自校准信息会通过output switch输出到PC，或者其他设备上去。

mjpeg 通路比较单纯，可以选择打开mjpge模块实现rgb 图像帧的压缩传输，或者关闭，按照RGB的格式传输，通过output switch输出实现图像的实时预览。