Qualcomm AI Hub的入门指南0.1：AI Hub Module

1. 配置Python虚拟环境

python -m venv qai_hub_models_env && source qai_hub_models_env/bin/activate

2. 从Qualcomm AI Hub Module中选择模块部署

module代码库：ai-hub-models/qai_hub_models/models at main · quic/ai-hub-models · GitHub

Qualcomm AI Hub Models是一组最先进的机器学习模型，针对性能进行了优化，可部署在Qualcomm平台设备上。您可以探索针对视觉、语音、文本和生成性AI应用程序的设备部署进行优化的模型。所有模块都在 GitHub 和 Hugging Face上提供开源。

这是一个 real-time selfie segmentation的简单示例，可以轻松导出并部署在设备上。首先，我们安装Qualcomm AI Hub Models python包。

pip3 install "qai-hub-models[ffnet_40s]"

运行基于PyTorch的本地CLI演示，使用一些示例输入在设备外验证模型。

python -m qai_hub_models.models.ffnet_40s.demo

在设备外验证后，您可以在几分钟内在托管的高通平台设备上运行此模型。

python -m qai_hub_models.models.ffnet_40s.export

上述脚本优化了设备上执行的模型，在云托管的高通平台设备上分析了模型，在设备上运行了模型，并比较了基于本地CPU的PyTorch运行和设备上运行的准确性。最后，您可以在设备上运行推理的完整演示。

还可以使用Qualcomm AI Hub做什么？

Qualcomm AI Hub可用于简化设备上部署的最常见工作流程。有关更多详细信息，请参阅

 文档页面

• Deploying PyTorch models with TensorFlow Lite
• Deploying PyTorch models with ONNX Runtime
• Deploying PyTorch models with Qualcomm® AI Engine Direct
• Deploying ONNX models to multiple runtimes
• Profiling models on-device
• Running inference on your data on-device
• Deploying AIMET quantized models to multiple runtimes