weixin_38498942的博客

QSH 框架中的每个算法和传感器驱动程序都称为具有标准 QSH API 的传感器。在任何实际用例中，这些传感器之间的信息交换都是必要的。以下资源介绍了这些传感器之间的通信。所有传感器之间的通信，包括发送和接收，都是通过数据流上的请求和事件消息进行的。消息净荷使用 nanopb 生成器、编码器和解码器以协议缓冲区格式定义。消息净荷长度、消息 ID 和时间戳（位于事件中）在由 QSH 框架管理的元数据内进行通信。发送的请求消息用于启用、禁用和/或重新配置传感器。请求消息始终可寻址到特定的 SUID。

有关使用 QSH 框架 API 开发自定义传感器算法并集成传感器供应商开发的符合 QSH 的传感器驱动程序和算法的信息，参见中的开发、配置和启动。

在人工智能（AI）领域，由于大型多模态模型（LMM）的激增，感官（视觉、听觉和交互）的整合代表了一个正在迅速扩展的前沿。人工智能系统处理和理解多模式数据的能力不断增强，为物联网（IoT）、移动、机器人等领域的应用提供了突破性的可能性。它还为我们与技术互动的方式带来了根本性的变化，允许你在人际互动中看到那种细微差别和实时流动。该领域的一个重大进步是能够直接在设备上运行AI系统。这一发展不仅降低了内存成本和延迟，还提高了可靠性和安全性。

通过以上步骤，您应该能够在高通骁龙系列C8380 Windows系统平台上成功搭建环境并运行OpenAI CLIP应用。如果您在开发过程中遇到任何问题，建议查阅官方文档或寻求社区帮助。祝您开发顺利！

首款移动端Qualcomm Oryon CPU性能提升45%，能效提高44%，是移动行业最大的共享数据缓存。我们的Qualcomm®Adreno GPU采用新的切片架构，性能提高了40%，效率提高了40%。全系统范围内，整体节能27%。我们的AI ISP直接与Qualcomm®Hexagon™NPU融合，提供业界领先的相机功能，如4K分辨率的无限语义分割。此外，我们的设备上视频对象橡皮擦可以从视频中删除不需要的元素，而Insight AI提供实时皮肤和天空调整，在不确定的条件下创建更自然的颜色和光线。

Windows on Snapdragon (WOS) 是一项革命性的移动计算技术，由微软与高通合作开发。该技术将Windows操作系统移植到基于ARM架构的高通骁龙处理器上，从而在移动设备上实现了全功能的Windows体验。WOS设备具备高性能、低功耗和全天候联网的特点，支持高速4G LTE或5G网络连接，为用户提供流畅的计算和图形处理能力。此外，WOS设备兼容大部分Windows应用程序，通过x86模拟器支持传统x86应用，提供了广泛的应用生态系统。

在硬件方面，RUBIK Pi 具有丰富的接口和功能设计，支持 USB TypeA（1x 2.0, 2x 3.0）、USB 3.1 Gen1 TypeC with DP（4K@60）、Camera、HDMI OUT（4K@30）、1000M网口、40pin排针连接器、3.5mm耳机孔、Wi-Fi 5、BT5.2、M.2 M-key连接器、Micro USB（UART Debug）和 RTC 等，满足多样化的开发需求。该产品的问世为开发者带来全新的创新机遇，完美填补了基于高通芯片平台在开源领域的空白。

在 Snapdragon Summit 开幕式上，高通技术公司移动、计算和 XR 部门总经理 Alex Katouzian 介绍了全新的 Snapdragon 8 Elite 移动平台。该平台旨在提供世界一流的性能和体验，其全新架构的 Qualcomm Hexagon 神经处理单元（NPU）在设备端 AI 和多模态支持方面取得了重大进展。与 Snapdragon 8 Gen 3 相比，速度提升高达45%，每瓦特性能提高45%。这意味着，消耗同样的电量，能做更多的事情。

Zhang et al., 2019）和随机网络（Xie et al., 2019;Esser et al., 2020）、激活压缩（Jain et al., 2018）和内核修改减少了个别操作的复杂性或移除某些计算。表 2 总结了 SwiftNet（Zhang et al., 2019）在不同算法下的调度时间，以展示分治和自适应软预算技术带来的加速。还有大量关于在硬件加速器上调度操作（Abdelfattah et al., 2018）的工作，这些工作也考虑了切分（Chen et al., 2018;

重新组织不规则连接神经网络的计算图可能会显著减少计算过程中的峰值内存占用µpeak。例如，值得注意的是，大量基于 NAS 的研究（Liu et al., 2019a;Zhang et al., 2019）大量使用连接作为合并来自输入激活的多个分支信息的自然方法，从而扩大神经架构的搜索空间。然而，具有许多入边的连接可能会延长输入激活的存活时间并增加内存压力，这在资源受限的场景中尤其不利。为了解决这个问题，我们提出身份图重写，以有效地减少连接周围的µpeak，同时保持算术输出不变。

在动态编程的基础上，我们叠加特定问题的约束，以实现最优解。具体而言，我们在每个搜索步骤 i 中计算内存占用 u_i+1 及其对应的峰值 upeak_i+1，以选择用于记忆化的最优路径 s^*_i+1。在这里，我们澄清搜索步骤的过程，解释如何计算 upeak_i+1) 并保存 s_i+1。在每个搜索步骤中，我们从唯一的零入度集合 z_i （签名）开始，该集合保存在记忆化表 M_i 的第 i 项中。

许多现有的编译器（Chen et al., 2018;Vasilache et al., 2018）和框架（Paszke et al., 2019;Jia et al., 2014）依赖基本的拓扑排序算法来调度图。虽然当前的方法可能足以在服务器级机器上运行传统网络，但这种方案可能不适合在资源受限的边缘设备上运行不规则连接的神经网络。这是因为，与运行规律拓扑的网络不同，运行不规则网络的内存占用范围会因为调度的不同而变化。

最近通过神经架构搜索和随机网络生成器实现机器学习自动化的进展，产生了在相同硬件资源限制（例如内存容量、带宽、功能单元数量）下提供更高准确率的网络。然而，这些新生成的网络往往由不规则的连接构成，这使得它们的执行变得复杂，因为它们偏离了传统的层、节点连接和计算的规律模式。这种不规则性导致了一个新的问题空间，其中节点的调度和顺序显著影响推理过程中的激活内存占用。同时，由于效率、连接性和隐私问题，越来越多的需求促使神经模型在资源受限的边缘设备上部署。

AI Orchestrator将有助于促进您的个人偏好、应用程序和gen AI模型协同工作，并提供革命性的设备上AI功能在快速发展的生成人工智能（AI）领域以及我们如何与设备交互的情况下，提供主动个性化体验的能力至关重要。高通技术公司推出的高通人工智能编排器是将这些体验提升到一个新水平的关键。Qualcomm AI Orchestrator在您的个人偏好、本地环境和设备上应用程序和服务的功能之间提供便利，带来代理AI体验。它代表了设备上人工智能的革命，以及您的设备可以提供的个性化人工智能方法。

在嵌入式世界博览会和大会上，高通技术股份有限公司展示了其在嵌入式和物联网生态系统中的重要地位，并通过不断加速各行业的创新，将自己定位为数字化转型的中心。来自嵌入式设计中心、分销商和独立软件供应商的35多家公司正在展示由高通®处理器驱动的解决方案，涵盖机器人、制造、资产和车队管理、边缘人工智能箱、汽车解决方案等领域。在嵌入式世界大会上，高通技术公司公布了其产品和解决方案组合的新增产品，旨在为嵌入式生态系统中的客户提供支持。

调试章节涵盖了调试和分析各种段（如 DSI 面板时钟、DPU 和 Weston）所需的信息。

软件接口由 Wayland Weston 和 libdrm API 等 API 组成。Weston API 促进了与 SDM 合成器的交互，而 libdrm API 促进了与 DRM/KMS 框架的交互。有关 libdrm API，请参阅 libdrm。Qualcomm 为您提供了基于 GStreamer 的插件。您可以从插件将 Waylandsink 插件添加到您的媒体 pipeline。有关详细信息，请参阅。

显示子系统是一个软件组件，可在设备上实现高质量的图形和视频输出。后续章节将介绍显示子系统的主要特性以及功能、高级功能和限制。