Ansys SCADE Vision-感知算法鲁棒性分析测试工具

        SCADE Vision是ANSYS公司与美国卡内基梅隆大学联合开发的AI感知算法验证套件，基于云端部署的后台搜索引擎和网络前端人机界面的综合分析，有效降低AI感知算法的验证效率并快速定位AI感知算法的潜在缺陷。

 

图1 基于SCADE Vision的主动学习框架

 

产品介绍

        基于SCADE Vision的主动学习框架要求用户以经过充分训练的感知算法模型作为输入，针对成熟的感知算法模型发现有助于提升感知算法模型安全性的典型样本，这类样本代表容易受到人为攻击、外部环境和算法本身影响的系统运行场景（SCADE Vision称之为边界案例）。基于SCADE Vision的主动学习框架的主要优势包括：

 

   ♦  加快模型的训练速度

   ♦  提高样本不均匀时的模型精度

   ♦  降低噪声干扰

 

        图2 SCADE Vision技术架构

 

        SCADE Vision选择引擎由SCADE Vision分析器和SCADE Vision边界案例搜索器两部分组成，SCADE Vision边界案例搜索器负责搜索更有价值的边界案例数据样本，SCADE Vision分析器负责边界案例样本潜在危害的原因（触发事件）。

 

ANSYS SCADE Vision Analyzer

       SCADE Vision分析器是一个基于网络的用户界面，支持用户以原始数据、网络模型为输入自动获取感知算法模型的边界案例，并以支持用户基于预定义或自定义触发事件列表定位边界案例的根本原因。SCADE Vision的分析流程遵循以下步骤：

 

• 连接待测模型

        SCADE Vision分析器是待测试系统（感知软件）加载到SCADE Vision云端的端口，待测试系统一般为用于目标检测的卷积神经网络模型。SCADE Vision分析器支持TensorFlow模型的加载，TensorFlow是目前用于卷积神经网络开发流行的深度学习开源框架。

 

 

        图3 待测试系统列表

 

• 提交原始视频

        SCADE Vision分析器支持原始视频文件上传到SCADE Vision云端，支持MAP4，AVI和MOV三种视频数据格式。

 

图4 原始视频列表

 

• 触发事件分析

        完成测试后测试结果被上传到SCADE Vision数据库，SCADE Vision分析器界面对测试结果进行图形化显示。

 

图5 SCADE Vision分析界面

 

• 生成安全报告

        安全报告是一份SCADE Vision识别出的触发事件的整体性总结，其目的是为系统安全分析人员对系统工程和软件开发团队如何提出安全需求提供指导。

 

图6 SCADE Vision安全报告生成

 

ANSYS SCADE Vision Edge Case Finder

        SCADE Vision Edge Case Finder边界用例搜索器支持AI感知算法模型的缺陷自动检测，基于原始摄像头数据不依赖于昂贵的标签样本，有效降低数据标注和真实运行环境的测试成本；基于原始摄像头数据自动生成对抗样本，通过缺陷检测和假阴性检测算法定位潜在缺陷，有效提升提升AI感知算法模型的安全性。