Mapbox Vision SDK 介绍

一.基本概念

Mapbox Vision SDK 使用机器学习的方式，动态地对马路上的车、物、人等物体进行分析，结合导航 SDK 和 AR 技术实现 AR 导航。

Mapbox Vision SDK是一个特定的例子，它专注于为移动设备提供基于位置的视觉识别功能，特别是在自动驾驶和增强现实导航领域。

Mapbox Vison SDK for Android是一个直接跑在安卓设备上基于相机来解释道路场景的库。

主要特点如下：
1、分类和显示检测和报警标识
2、物体检测包括车辆、行人、路标、交通灯
3、对14种道路进行语义分类
4、增强现实导航的全覆盖
5、支持wifi或有限连接的相机

利用在智能手机和车载嵌入式硬件上运行的Vision SDK的开发人员将能够利用计算机视觉算法触发限速，行人，车辆和其他对象的AR警报。

并且，由于与微软的开源Azure IoT Edge运行时间集成，该SDK更具灵活性，并将这些数据集中在微软的认知服务中，并将其用于AI模型训练，审计和报告。

通过运行在Arm’s Object Detection处理器上的设备上的神经网络，Mapbox的Vision SDK可以实时从每秒60帧的高清摄像头中识别出物体。它不需要互联网连接，以便驾驶员在繁忙的十字路口行驶。

它利用机器学习模型来识别和理解路况信息，从而为用户提供实时导航提示、路标识别、行人检测等功能。

二.Vision SDK 有什么功能

Vision SDK 包含了 Vision、Vision AR、Vision Safety 这三个模块。这三个模块其实也是对应了三个 SDK。

1.Vision模块：

动态物体检测、图像语义分割、交通标识识别、车道识别
•Vision 模块使用机器学习的方式在移动设备中，对图片里的内容进行动态的物体检测和语义分割。此外，它可以识别图片中的交通标识符和车道等。

2.Vision AR模块：

AR车道，交通标识符
•Vision AR 以增强现实的方式将车道、交通标识符绘制在界面上。

3.Vision safety模块：

碰撞预警、超速提示
•Vision Safety 则是与安全驾驶相关，主要功能是碰撞预警和交通提示。

三.总体架构

Vision Core

核心叫做 Vision Core，所有与机器学习相关的功能比如说语义检测、语义分割和物体识别等都是在 Vision Core 里实现的。
在 Vision Core 外面我们封装了 Vision 模块，Vision 模块会控制 Vision