基于高通Glance的低功耗图像传感器及处理器的介绍

一、glance视觉摄像头模组

该模块提供可配置参数的基于CV的接近检测。该摄像头的体积仅为5.15.12.9mm大小。
相关参数如下：
28nm NTC (近阈值计算)
• 1MB Lower-Power SRAM
◦ 640KB Cortex-M0 TCM
◦ 384KB SuP TCM
• Always On Domain
• ARM Cortex-M0 40MHz
◦ Control Plane Processor
◦ Master/Slave Peripherals
• Qualcomm Glance 40MHz
◦ Image/Computer Vision Processor
◦ Image Sensor I/F
◦ Always On Computer Vision HW Accelerator
• Qualcomm Stream uProcessor (SuP) 40MHz
◦ 数据平面处理器
◦ Stream/Kernel-based DSP HW Accelerator
• 音频子系统
◦ 2x PDM Microphone I/F
◦ 2x I2S/PCM I/F
• 集成 PMU

二、glance处理数据硬件结构


1、物联网高度集成的计算机视觉平台
QCC112：超低功耗计算机视觉系统芯片
优化镜头和图像传感器
连接：连接选项包括LPWA（例如：
MDM920x），无线/BLE/15.4
2、智能占用传感器、高级用户界面、对象驱动触发、统计数据收集和其他新功能
3、物联网的计算机视觉
使用机器学习推理检测对象
图像传感器捕捉片上计算机视觉模型——人体检测，人脸检测、人数统计等。
向主机系统报告元数据–边界框，计数等。
超低功耗
<1.5mW有功功耗（总计图像传感器和QCC112的消耗）

三、glance应用场景

1、商业/零售
2、货架/库存跟踪/监控
存货计量
-架子背面的图案表示为空
-货品的大小表明架子有多满
“用户印象”人脸检测
面部检测计数
3、运输
价值10%的硬件和安装成本
有线解决方案
4、资产跟踪/监控
与备选方案相比：
•功率显著降低
•显著降低成本
•可能的情况下，高功率过程的占空比
常开触发器
潜在规范*
*根据现有的商业解决方案开发/改进
市场反馈/要求
•<1mW端到端，始终接通系统电源
•每秒30帧
•~70高频振荡
5、智慧城市
6、人员/物体/自动计数/监控
7、玩具/机器人/电器
8、面部检测触发器
9、住宅/安全-门铃/智能锁
•改善用户体验
•延长电池寿命：显著降低
假阳性触发器
•不再有虚假通知：重要
减少假阳性触发
•更快的第一帧：预卷视频和更快的自动
曝光时间–<50ms到第一个视频图像（快10倍）
•改进功能：数字掩蔽和其他
最终用户可配置选项
•扩大市场
•市区：区分btw人行横道
交通和人员接近门
•靠近街道：区分btw人员和车辆
10、智能替换PIR/运动探测器
11、人脸/物体检测
在视野中，这个装置把人和其他物体区分开来
•私有：图像既不存储也不发射
•智能占用触发器
•>120度视野
•高精度3–100000勒克斯
•10米范围，<250毫秒发现
•人数统计
•静态图像人体检测和计数（人在哪里，人数多少）

四、glance可以支持的算法模型

1、变化检测
传感器能够响应场景中的变化。使用的变化检测算法是比简单的帧减法更复杂，并且使用各种CV算法来检测重大变化。用户可以自定义各种算法参数，以适应应用程序，以及导致中断发生的阈值。
2、物体检测
主机可以下载识别对象的训练模型。可以检测到多个对象在场景中，它们的坐标和方向可以报告回宿主。数量要检测的对象、方向和使用的其他算法参数可以自定义为API。可根据要求提供培训方案和模型的示例。
3、物体追踪
一旦检测到，就可以在场景中跟踪对象。传感器报告使用API检测到对象。

五、Glance组件构成

1、硬件相关
包括QCC112计算与识别芯片，内置运算单元，用于计算摄像头的采集到的帧数据，并进行人脸的检测以及位置坐标的计算。
2、算法
Glance可以使用用户自己训练的算法模型，包括指定物体的检测。
3、Glance内置算法
Glance本身提供人脸检测算法、人体检测算法、AR/VR的模式识别，通过集成，可以达到快速开发的效果。
4、Glance工具链
Glance目前提供了一整套的工具链，包括板载SDK接口、算法训练工具等等来简化开发成本。

六、glance的相关demo
目前可以通过windows上位机对glance的sensor进行控制，并通过高速串口来读取相关数据，数据的传输通过SPI来进行，主要传递的是摄像头模组采集到的并且经过qcc112计算后的检测数据。
上位机有相关的python脚本来对整个元数据buffer进行处理，解析帧数据并通过opencv接口来对图像进行上位机的展示以及检测框的绘制。