OpenCV计划推出三代OAK相机

编辑：OAK中国
首发：oakchina.cn
喜欢的话，请多多👍⭐️✍

▌前言

Hello，大家好，这里是OAK中国，我是助手君。

OpenCV的OAK相机自从2020年面世以来，产品的更新迭代速度非常快，目前在售与在研发产品已经逾30种。今年OAK将会推出二代和三代的产品，本文主要给大家详细介绍三代的产品。

▌Series 3

OAK Series 3的产品将会搭第三代VPU（Keem Bay）。与上一代VPU Myriad X相比，Keem Bay集成了四核ARM A53，可运行YOCTO Linux，AI推理性能至少提高5倍，立体深度感知将增强。目前，官方消息表示，将会在今年第四季度上市。

Series 3保持了向后兼容性，所以为Myriad X编写的pipeline仍然可以在Keem Bay上运行。

官方的计划是在2022年第四季度正式发布Series 3产品，不过可能会因为供应链等问题有所延迟，最新信息请关注OAK中国各个平台。

▌四核ARM

有一个四核ARM A53 1.5GHz的Neon技术和浮点扩展（运行Yocto 2.71，Linux内核5.3）集成到VPU中，类似于有Myriad X + Raspberry Pi 3B+（四核A53 1.4GHz），这可以使最终项目和产品更加紧凑。

用户可以完全访问Yocto操作系统（通过SSH），也可以像以前的版本（如OAK-D、OAK-D-Lite）一样使用S3 OAK相机——通过USB连接到电脑上，然后直接启动一个应用程序。有了板载计算能力，程序/应用将能够在设备本身进行完整的模型解码，这将使DepthAI应用更加灵活，延迟更低。

▌AI性能提升

我们自己没有做任何测试，但根据英特尔的测试，与Myriad X相比，Keem Bay有>10倍的DL推理性能。实际数字真的取决于你所使用的AI模型。一些模型可能只有3.5倍的性能提升，而其他模型与Myriad X的性能相比可能有20倍的性能提升。

Keem Bay支持FP16和INT8数据类型。他们也提供了模型量化的工具，所以转换模型与转换Myriad X（支持FP16）的模型没有任何区别。

Keem Bay集成了20个DPU（数据处理单元），能够提供5.12 TOPS（INT8）或1.28 TFLOPS（FP16）。它支持稀疏加速和压缩，使有效的TOPs增加2倍，达到20TOPS，有效的FPS性能增加2倍以上。

▌Keem Bay参数

VPU时钟	500 MHz
ResNet-50 性能	每秒240个推理
AI 算力	3.0 TOPS
SHAVE 处理器数	12
计算机视觉	以 1.0 GB/s加速CV/Warp，支持 6DOF
深度	720P@180 FPS
视频编码	最大4K@75FPS， H.264、H.265 、JPEG编码
视频解码	最大4K@60FPS, 最大10通道：1080P/30FPS， H.264、H.265、JPEG编码
图像处理	ISP，最多支持6个相机，500 MP/s HDR, TNF, 3A, ULL. 4K/60FPS
接口	多个I2C、Quad-SPI、I2S、UART、PCIe Gen4 interfaces、 USB 3.1/2、 1GB 网口、GPIOs
工作温度	-40°C ~105°C (与Myriad X一样)
RAM支持	2x 32位 DRAM 1600-2133 MHz

ResNet-50的性能是在INT8量化和（最大）本地优化以及权重稀疏度为50%的情况下测量的。

▌本地媒体支持

• GStreamer框架
• 用于计算机视觉的OpenCV（或G-API）
• 视频加速API/英特尔媒体SDK用于编码和解码

▌参考资料

https://docs.oakchina.cn/en/latest/
https://www.oakchina.cn/selection-guide/

---

OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态

戳「+关注」获取最新资讯↗↗