基于RK-3588四路鱼眼全景视频系统以及相关调试工具（一）项目介绍

      在23年9月开始，接到公司的一个开发项目，需要给一个底盘很低的机器人做一个俯视视角的程序，在这一过程中遇到很多的困难，但是最终都进行了解决，在此记录整个开发过程中遇到问题，并附上部分源码。

       首先是原理上的一些说明，普通的摄像头，受限于左右的视角限制，位底盘上的四个摄像头之间会有四角，在这种前提下选择了鱼眼摄像头，但是随之而来的问题就是——图像畸变，鱼眼相机带来更广的视角的同时也会带来图像畸变的问题，所以一切要从鱼眼摄像头的畸变处理开始，这一步本身也存在很多问题，在此就不展开说明了，其次是在解决点鱼眼相机的畸变之后需要对相机的视角进行变化，从斜向下的视角变成俯视，这一部分需要用到仿射变换。完成这一部分需要用到的相关技术有：张正友棋盘标定法、仿射变换、opencv库。

        在完成对图像初步处理的功能之后。需要同时对思路的摄像头采集的图片进行融合，但是在融合之前就发生了问题，实际运行环境是rk3588开发板，在测试过程中发现虽然该开发板拥有多个usb接口，但是受限于usb协议，在运行过程中会把usb的带宽全部分配给一个摄像头设备，于是需要改写usb协议关于带宽分配的部分，并重新编译安装，这样usb端口的带宽资源就会均匀的分配给每一个设备。同时还会产生一个新的问题——cpu算了不足，畸变校正这一部分消耗系统资源是很大的，开多个线程同时校正思路视频，cpu算力不足，所以要利用到rk3588的gpu进行硬件加速，完成该部分的功能。

        在获得四路畸变校正的图片之后，需要对这思路摄像进行图像融合，这一部分有很多的问题需要结局，比如四个摄像头成像的相对位置确定，成像融合区域的的自然平滑处理，四个摄像头的曝光、白平衡策略的统一。这些都需要具体的解决。

        图像融合之后就是对图像的推流，工程当中选择了比较简单zmq推流。