模型案例：| 汽车目标识别！

2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领域，在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件，与全球创客爱好者共建“模型仓”，通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术！

本期介绍：模型案例：| 汽车目标识别！

NVIDIA TAO 工具包

NVIDIA TAO（Train, Adapt, Optimize）工具包

NVIDIA TAO（Train, Adapt, Optimize）工具包是一个全面的企业级框架，旨在简化AI模型的开发和部署。特别适用于计算机视觉和对话式AI应用，TAO工具包利用迁移学习的便利性，定制NVIDIA的预训练模型并将其适用于各种行业特定任务。

NVIDIA TAO的主要功能

1. 预训练模型:

- TAO 提供了涵盖不同领域的大量预训练模型，包括目标检测、图像分类、分割、自然语言处理等。

- 这些模型在大量数据集上进行训练，并进行了性能优化，提供了强大的模型开发起点。

2. 迁移学习:

- 通过使用迁移学习，TAO 允许开发人员利用自己的数据微调预训练模型，大大减少了从零开始训练所需的时间、成本和复杂性。

- 迁移学习还帮助在较少标注数据的情况下达到更高的准确度。

3. 简单的工作流程:

- TAO Toolkit 提供了简化的工作流程，抽象了深度学习模型开发的复杂性。

- 用户可以通过最少的编码训练、评估和优化高性能模型。

4. 部署就绪:

- 使用TAO Toolkit优化的模型可以部署在各种NVIDIA平台上，如Jetson边缘设备、NVIDIA Triton Inference Server和NVIDIA AI Enterprise。

- 这确保优化后的模型是生产就绪的、可扩展的和高性能的。

5. 性能优化:

- TAO包括模型剪枝、量化等优化技术，以提高模型效率而不影响准确性。

- 这些优化使模型适合在资源受限的环境中（如边缘设备）部署。

6. 端到端的流程:

- TAO工具包支持从数据增强、训练、剪枝、量化到部署的端到端流程，使从开发到生产的过渡无缝。

- 与其他NVIDIA工具和平台很好地集成，提供了一个连贯的开发生态系统。

7. 企业支持:

- TAO工具包面向企业用户，提供强大的支持、文档和资源，以协助开发过程。

- 组织可以利用TAO加速其AI项目，将创新解决方案更快推向市场。

如何使用NVIDIA TAO

NVIDIA TAO

- 安装: TAO工具包可以通过NVIDIA NGC访问，NGC提供了工具包的容器化版本，便于在任何兼容的基础设施上设置。

- 模型选择: 从TAO模型库中选择预训练模型，如用于图像分类的ResNet、用于目标检测的YOLO或用于NLP任务的BERT。

- 数据准备: 准备你的自定义数据集，确保其格式符合TAO的要求。

- 训练: 使用简单的配置文件和命令，利用你的数据集微调所选的预训练模型。

- 优化: 使用TAO提供的自动优化技术，根据特定的部署环境优化模型性能。

- 部署: 导出优化后的模型，并使用NVIDIA的部署解决方案将其集成到你的生产环境中。

汽车目标识别

Trafficcamnet Detection

Trafficcamnet Detection

此模型由NVIDIA TAO工具包进行模型的训练，用以识别马路上的汽车目标，模型数据类型为TFLite。

可应用的领域

交通管理和监控：目标识别算法可用于监控交通流量、检测违法行为（如闯红灯、超速）、识别车牌和管理停车等。

智能停车系统：通过识别车辆和车牌，智能停车系统可以实现自动停车收费、优化停车资源分配和引导司机找到空余车位等功能。

车辆检测与识别：用于分析视频监控数据，以实现对特定车辆的跟踪和识别，应用于安全和防盗系统。

在Grove Vision AI(V2)上部署模型

1、打开SenseCraft AI，地址：SenseCraft AI (seeed-studio.github.io)

2、连接到 CSI 接口摄像头，给Grove Vision AI V2 连接CSI接口摄像头，注意方向不能插反，如下图所示。然后用数据线将Grove Vision AI V2连接到电脑的USB接口上即可。

3、打开SenseCraft模型助手网站，在设备中选择“Grove Vision AI V2”再单击右上角的“连接”按钮，弹出串口连接窗口后点击“连接”按钮，如下图所示。

4、当“连接”变成红色的“断开连接”按钮时，表示连接成功了，如下图所示。

5、在“可用的AI模型”列表中往下拉动找到“Trafficcamnet Detection”，并单击此模型然后在点击右上角的“发送”按钮，如下图所示。

6、等待一段时间的下载和烧录固件的过程，完成后将打开右侧的预览窗口，现在就可以将Grove Vision AI V2的摄像头对准汽车目标进行测试了，如下图所示。

推理结果演示

Grove Al视觉模块 V2套装介绍

Grove Al视觉模块 V2

OV5647-62摄像头

Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器, 该处理器采用 ArmCortex-M55双核架构。

它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。

有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。

主要硬件配置

- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构

- 配备集成Arm Ethos-U55微神经网络加速单元, 兼容的树莓派相机

- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发

- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。

- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.

写在最后

SenseCraft-AI平台的模型仓数量还很少，但是好消息是它支持自定义模型上传并输出推理结果，平台会逐渐增加模型仓的数量，敬请关注！