一、glance视觉摄像头模组
该模块提供可配置参数的基于CV的接近检测。该摄像头的体积仅为5.15.12.9mm大小。
相关参数如下:
28nm NTC (近阈值计算)
• 1MB Lower-Power SRAM
◦ 640KB Cortex-M0 TCM
◦ 384KB SuP TCM
• Always On Domain
• ARM Cortex-M0 40MHz
◦ Control Plane Processor
◦ Master/Slave Peripherals
• Qualcomm Glance 40MHz
◦ Image/Computer Vision Processor
◦ Image Sensor I/F
◦ Always On Computer Vision HW Accelerator
• Qualcomm Stream uProcessor (SuP) 40MHz
◦ 数据平面处理器
◦ Stream/Kernel-based DSP HW Accelerator
• 音频子系统
◦ 2x PDM Microphone I/F
◦ 2x I2S/PCM I/F
• 集成 PMU
二、glance处理数据硬件结构
1、物联网高度集成的计算机视觉平台
QCC112:超低功耗计算机视觉系统芯片
优化镜头和图像传感器
连接:连接选项包括LPWA(例如:
MDM920x),无线/BLE/15.4
2、智能占用传感器、高级用户界面、对象驱动触发、统计数据收集和其他新功能
3、物联网的计算机视觉
使用机器学习推理检测对象
图像传感器捕捉片上计算机视觉模型——人体检测,人脸检测、人数统计等。
向主机系统报告元数据–边界框,计数等。
超低功耗
<1.5mW有功功耗(总计图像传感器和QCC112的消耗)
三、glance应用场景
1、商业/零售
2、货架/库存跟踪/监控
存货计量
-架子背面的图案表示为空
-货品的大小表明架子有多满
“用户印象”人脸检测
面部检测计数
3、运输
价值10%的硬件和安装成本
有线解决方案
4、资产跟踪/监控
与备选方案相比:
•功率显著降低
•显著降低成本
•可能的情况下,高功率过程的占空比
常开触发器
潜在规范*
*根据现有的商业解决方案开发/改进
市场反馈/要求
•<1mW端到端,始终接通系统电源
•每秒30帧
•~70高频振荡
5、智慧城市
6、人员/物体/自动计数/监控
7、玩具/机器人/电器
8、面部检测触发器
9、住宅/安全-门铃/智能锁
•改善用户体验
•延长电池寿命:显著降低
假阳性触发器
•不再有虚假通知:重要
减少假阳性触发
•更快的第一帧:预卷视频和更快的自动
曝光时间–<50ms到第一个视频图像(快10倍)
•改进功能:数字掩蔽和其他
最终用户可配置选项
•扩大市场
•市区:区分btw人行横道
交通和人员接近门
•靠近街道:区分btw人员和车辆
10、智能替换PIR/运动探测器
11、人脸/物体检测
在视野中,这个装置把人和其他物体区分开来
•私有:图像既不存储也不发射
•智能占用触发器
•>120度视野
•高精度3–100000勒克斯
•10米范围,<250毫秒发现
•人数统计
•静态图像人体检测和计数(人在哪里,人数多少)
四、glance可以支持的算法模型
1、变化检测
传感器能够响应场景中的变化。使用的变化检测算法是比简单的帧减法更复杂,并且使用各种CV算法来检测重大变化。用户可以自定义各种算法参数,以适应应用程序,以及导致中断发生的阈值。
2、物体检测
主机可以下载识别对象的训练模型。可以检测到多个对象在场景中,它们的坐标和方向可以报告回宿主。数量要检测的对象、方向和使用的其他算法参数可以自定义为API。可根据要求提供培训方案和模型的示例。
3、物体追踪
一旦检测到,就可以在场景中跟踪对象。传感器报告使用API检测到对象。
五、Glance组件构成
1、硬件相关
包括QCC112计算与识别芯片,内置运算单元,用于计算摄像头的采集到的帧数据,并进行人脸的检测以及位置坐标的计算。
2、算法
Glance可以使用用户自己训练的算法模型,包括指定物体的检测。
3、Glance内置算法
Glance本身提供人脸检测算法、人体检测算法、AR/VR的模式识别,通过集成,可以达到快速开发的效果。
4、Glance工具链
Glance目前提供了一整套的工具链,包括板载SDK接口、算法训练工具等等来简化开发成本。
六、glance的相关demo
目前可以通过windows上位机对glance的sensor进行控制,并通过高速串口来读取相关数据,数据的传输通过SPI来进行,主要传递的是摄像头模组采集到的并且经过qcc112计算后的检测数据。
上位机有相关的python脚本来对整个元数据buffer进行处理,解析帧数据并通过opencv接口来对图像进行上位机的展示以及检测框的绘制。