- 博客(1055)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 高效模型量化工具包-AIMET（八）
深度学习已经成为许多机器学习应用的重要组成部分，现在可以在无数的电子设备和服务中找到，从智能手机和家用电器到无人机、机器人和自动驾驶汽车。随着深度学习在我们日常生活中的普及和应用范围的扩大，对快速和高效的神经网络推理的需求也越来越大。神经网络量化是减少神经网络在推理过程中能量和延迟需求的最有效方法之一。量化允许我们从浮点表示转换为定点格式，并结合利用高效定点运算的专用硬件，有潜力实现显著的功耗节约和推理加速。然而，为了利用这些节约，我们需要能够在减少权重和激活位宽的同时保持高精度的稳健量化方法。
2024-05-23 09:38:09
392
原创 高效模型量化工具包-AIMET（七）
前几章介绍的后训练量化技术是我们量化工具包中的首选工具。它们非常有效且易于实施，因为它们不需要使用标记数据对网络进行重新训练。然而，对于某些模型或使用情况，这些技术可能不足够。后训练技术可能无法减轻低位量化所带来的显著量化误差。在这些情况下，我们采用量化感知训练（QAT）。QAT在训练过程中对量化噪声进行建模，并允许模型找到比后训练量化更好的解决方案。然而，更高的准确性也伴随着神经网络训练的常规成本，即更长的训练时间、需要标记数据和超参数搜索。
2024-05-23 09:37:55
583
原创 高效模型量化工具包-AIMET（六）
然而，如果在按照我们的流程进行操作后，模型的性能仍然不令人满意，我们建议进行一系列诊断步骤，以确定瓶颈并改善性能。如果量化单个张量导致显著的准确性下降，我们建议在不同的粒度和维度上可视化张量分布，例如BERT中的激活函数的每个标记或每个嵌入。否则，我们可以考虑更高的位宽和更小的粒度，或者恢复到更强大的量化方法，例如量化感知训练。为了减少激活函数量化引起的量化误差，我们还可以尝试使用不同的范围设置方法或调整CLE（参见第4.3节）以考虑激活函数量化范围，因为普通的CLE可能导致激活函数分布不均匀。
2024-05-23 09:37:39
461
原创 高效模型量化工具包-AIMET（五）
它仅需要少量未标记的数据样本（例如：在视觉任务中使用了500-2,000个样本），无需超参数调整或端到端微调，并且可以应用于任何神经网络的全连接和卷积层。• 在分析性偏差校正（perform_only_empirical_bias_corr = False）的情况下，AIMET会自动检测给定模型中具有关联批归一化统计的候选卷积层，以执行偏差校正。它返回一个更新后的模型，其中包含优化后的权重，并将相应的量化编码保存在一个JSON输出文件中，该文件的路径由encoding_path参数指定。
2024-05-23 09:37:20
247
原创 高效模型量化工具包-AIMET（四）
后训练量化（Post-Training Quantization，简称PTQ）算法是指对预训练的FP32网络进行优化，调整其权重和量化参数，以提高量化性能，而无需进行微调。PTQ方法可以是无数据的，也可以需要一个小的校准集，这通常是容易获取的。由于它们不需要访问原始训练流程，并且几乎不涉及超参数调整，因此可以通过单个API调用作为黑盒方法来对预训练的神经网络进行量化，从而使神经网络设计师无需成为量化专家，从而实现神经网络量化的更广泛应用。
2024-05-15 18:12:28
791
原创 高效模型量化工具包-AIMET（三）
(固定点操作设备上量化推断的示意图(左) 和 使用浮点运算进行模拟量化(右))量化仿真允许用户高效地测试各种量化选项。在本节中，我们首先解释了这一仿真过程的基本原理，然后讨论了有助于弥合仿真与实际设备性能差距的技术。AIMET使用户能够自动创建一个量化仿真模型，给定一个PyTorch或TensorFlow模型。AIMET将会向PyTorch或TensorFlow模型图中添加图3.1所示的量化器节点。生成的模型图可以直接用于用户的评估或训练流程中。
2024-05-15 18:11:40
648
原创 高效模型量化工具包-AIMET（二）
权重和激活的逐张量量化一直是标准的，因为它得到了所有定点加速器的支持。回顾等式(2.3)中的量化MAC操作，我们可以看到，通过在加速器中应用单独的逐通道权重比例因子，可以实现逐通道权重量化，而不需要重新调整。到目前为止，我们已经为张量定义了单个量化参数集，或者说是每个张量一个量化器，一个用于权重，一个用于激活，如方程（2.3）所示。我们还可以为张量的各个段定义单独的量化器（例如，权重张量的输出通道），从而增加量化粒度。在我们的示例中，我们使用INT8算术，但为了讨论的完整性，这可以是任何量化格式。
2024-05-15 18:11:02
730
原创 高效模型量化工具包-AIMET（一）
随着深度学习作为一种通用工具将智能注入电子设备的流行度增加，对小型、低延迟和高能效神经网络解决方案的需求也日益增加。如今，神经网络可以在许多电子设备和服务中找到，从智能手机、智能眼镜和家用电器到无人机、机器人和自动驾驶汽车。这些设备通常对神经网络执行的时间有严格的限制，或对长时间性能有严格的功耗要求。减少神经网络的计算时间和资源消耗的最有效方式之一是量化。在神经网络量化中，权重和激活张量的存储精度低于通常训练时的16或32位精度。
2024-05-15 18:10:02
673
原创 Qualcomm Robotics RB5 平台软件用户指南（18）
设备崩溃后，设备进入崩溃状态，PCAT 尝试下载内存转储映像。有关 Linux Ubuntu 上基于文件的安全机制的信息，请参阅https://ubuntu.com/server/docs/security-apparmor。可以提取 RAM 转储，然后通过工具进行分析，以识别问题发生时的调用堆栈和硬件的其他状态信息。以下过程在设备崩溃时使用 Qualcomm PCAT 工具（推荐）或 Qualcomm 产品支持工具 (QPST) 收集 RAM 转储。PCAT 应用程序仅在设备进入崩溃模式时收集内存转储。
2024-04-30 16:42:35
1012
1
原创 Qualcomm Robotics RB5 平台软件用户指南（17）
要在 perf 构建上启用核心转储收集，请在 DISTRO 配置中添加COREDUMP_qti-distro-user = "1"并将 SYSTEMD_COREDUMP_PATH 设置为指向适当的核心转储路径。将SD卡格式化为Fat32，挂载到SD卡中adb shell，并将 rdcookie.txt和rtcookie.txt文件存储在SD卡中。此命令在目标上创建包含以下内容的/etc/sysctl.d/sysctl-coredump.conf文件。要获取所有时钟的转储，请在弹出窗口中键入 all。
2024-04-30 16:42:12
839
原创 Qualcomm Robotics RB5 平台软件用户指南（16）
Valgrind 工具套件提供了许多调试和分析工具（例如 Memcheck），有助于使您的程序更快、更正确。它可以检测 C 和 C++ 程序中常见的许多与内存相关的错误，这些错误可能导致崩溃和不可预测的行为。如果/sys/kernel/debug/clk/enabled_clocks不可用，则使用路径/sys/kernel/debug/clk/clk_enabled_list。Trace-cpu.txt文件包含跟踪打印，可以使用pytimechart等跟踪分析工具来分析它的瓶颈。
2024-04-30 14:42:11
624
原创 Qualcomm Robotics RB5 平台软件用户指南（15）
logcat和（氟化物堆栈）日志都BluetoothSnoop可以捕获为与蓝牙无线技术相关的任何报告问题的初始日志。该hcidump日志用于确定问题是否与支持蓝牙无线技术的应用程序、主机或 SoC 有关，或者与远程设备有关。使用 OTA 日志调试与远程设备连接相关的蓝牙无线技术 SoC 问题。例如，frontline FTS4BT/frontline BPA600/Ellisys捕获 OTA 日志。它可以捕获蓝牙技术应用和氟化物堆栈的日志。打开或关闭相关问题或传输层问题需要 UART 日志。
2024-04-30 14:31:39
650
原创 Qualcomm Robotics RB5 平台软件用户指南（14）
该BCMDump.cmm []脚本转储每个 VCD 和 BCM 实例的信息。最终选定的时钟计划（FINAL_CP）以及SND CP和聚合CP的聚合（AGG_CP）；子系统名称可以是应用程序处理器、调制解调器、音频、传感器、AOP、调试、GPU、显示或计算 DSP。CMM 脚本在解析每个资源（例如，BCM 或虚拟时钟域 (VCD)）时检查以下内容。VRM包含当前资源状态(CRS)寄存器，其指示最终的VRM资源设置稳定状态。Sel_CP是BCM特殊节点CP选择，基于延迟投票和当前投票负载。
2024-04-25 16:59:40
816
原创 Qualcomm Robotics RB5 平台软件用户指南（13）
qti-Ubuntu-robotics-image-qrb5165-rb5-sysfs.ext4：Android 稀疏映像，版本：1.0，总计：11950 个输入块中的 8192000 4096 字节输出块。如果 GDB 在目标上不可用，请添加gdb并 poky/meta-qti-bsp/recipes-core/packagegroups/packagegroup-qti-debug-tools.bb重新构建。生成的图像qti-console-image可以使用 GDB 进行远程调试。
2024-04-25 16:58:18
993
原创 Qualcomm Robotics RB5 平台软件用户指南（12）
Qualcomm 神经处理 SDK：执行用例的步骤。TensorFlow Lite：执行用例的步骤。
2024-04-25 16:57:01
718
1
原创 Qualcomm Robotics RB5 平台软件用户指南（11）
Qualcomm 神经处理 SDK：执行用例的步骤。TensorFlow Lite：执行用例的步骤。
2024-04-25 15:47:40
622
1
原创 Qualcomm Robotics RB5 平台软件用户指南（10）
TensorFlow Lite（v2.x）是平台源代码的一部分，用于在高通平台中执行模型，支持一系列算子和应用程序开发测试。有关更多详细信息，请参阅https://www.tensorflow.org/lite/。有关如何将模型转换为 Qualcomm 神经处理 SDK DLC 格式并生成输入图像的更多信息，请参阅https://developer.qualcomm.com/。最终的目录结构应该类似于 poky/meta-qti-ml-prop/recipes/snpe-sdk/files/snpe/.
2024-04-18 17:27:28
808
原创 Qualcomm Robotics RB5 平台软件用户指南（9）
中的压缩参数capsfilter用于控制UBWC，当设置为compression=UBWC时，将为该特定流启用UBWC。下图说明了由放置在 2 × 2 网格中的四个输入构成的输出的用例，其中一个输入流是摄像机的 1080p 实时预览，其余三个流是 1080p 录像机视频。插件qtic2venc对其进行编码，码率为6 Mbps，码率控制设置为恒定，I帧间隔设置为29，即每第30帧为I帧。在此用例中，1080p AVC 视频流被解码为 YUV，缩小为 720p，然后在 AVC 编码后转储到文件。
2024-04-18 17:23:39
863
原创 Qualcomm Robotics RB5 平台软件用户指南（8）
该qtioverlay插件接收 YUV 流，将作为覆盖文本属性值给出的用户文本应用到流上，并将其传递到元素waylandsink以在显示上呈现。要停止用例，请按CTRL + C，并使用以下命令从设备中拉出录制的内容adb pull ，然后在主机 PC 上播放该内容。YUV 流由插件接收qtioverlay，该插件将作为覆盖文本属性值给出的用户文本应用到流上。要在 1080p 实时视频预览上应用日期和时间叠加，请运行以下命令。下图显示了在录制两个 1080p 视频时捕获的 1080p 快照。
2024-04-18 17:22:26
746
原创 Qualcomm Robotics RB5 平台软件用户指南（7）
先决条件：如果/etc/camera/camxoverridesettings.txtdisableAFDStatsProcessing中不存在，请运行以下命令以确保存在SHDR 设置。先决条件：如果/etc/camera/camxoverridesettings.txtdisableAFDStatsProcessing中不存在 ，请运行以下命令以确保存在 SHDR 的相机覆盖设置。要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull ，然后在主机 PC 上播放该内容。
2024-04-18 17:21:01
1179
原创 Qualcomm Robotics RB5 平台软件用户指南（6）
要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull ，然后在主机 PC 上播放该内容。要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull ，然后在主机 PC 上播放该内容。要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull，然后在主机 PC 上播放该内容。要停止用例，请按CTRL + C，使用以下命令从设备中提取录制的内容adb pull，然后在主机 PC 上播放该内容。
2024-04-11 15:53:42
1188
原创 Qualcomm Robotics RB5 平台软件用户指南（5）
下图展示了两个 1080p 分辨率流的画中画播放，一个流重叠在另一个流之上，并显示在 480 x 270 目标矩形中。QRB5165 设备支持的不同多媒体用例包括单流和多流播放、多流并发录制、摄像机静态和动态参数以及视频叠加设置。有关更多信息，请参阅验证 Weston。运行以下命令来创建测试视频。运行以下命令来创建测试视频。运行以下命令来创建测试视频。4. 要停止用例，请从另一个终端窗口运行以下命令。要停止用例，请从另一个终端窗口运行以下命令。要停止用例，请从另一个终端窗口运行以下命令。
2024-04-11 15:52:10
775
原创 Qualcomm Robotics RB5 平台软件用户指南（4）
有关如何选择正确设置的详细信息，请参阅 QRB5165 设备上 /etc目录中的Mixer_paths_iot.xml文件。设置混音器设置后，访问正确的音频设备节点以开始流式传输。有关音频 HAL 用例的完整列表，请检查音频 HAL 中的audio_hw.c文件。有关音频设备的完整列表，请检查音频 HAL 中的platform.h文件。Mixer_paths_iot.xml文件中存在以下混频器控制序列。下表列出了配置音频设置所需的音频内核和其他模块的源位置。启动后， /dev/snd目录下有以下设备节点。
2024-04-11 14:33:38
1052
原创 Qualcomm Robotics RB5 平台软件用户指南（3）
在 Codec2 实现中，gralloc被替换为 GBM，因为 GBM 是 Linux 发行版上用于在应用程序之间共享显示缓冲区的流行机制。配置视频设置涉及设置支持的帧速率和接口。H.264/HEVC/VP9 解码为 7680 × 4320（60 fps）/8192 × 4320（48 fps）这种将相机帧发送到结构内视频的过程encoder_media_buffer_type称为元模式或零复制功能。当相机将帧发送到struct encoder_media_buffer_type.
2024-04-11 14:31:49
815
原创 Qualcomm Robotics RB5 平台软件用户指南（2）
根 1159 1 4 12:28 tty2 00:08:38 韦斯顿 --idle-time=0 --log=logcat --config=/etc/xdg/weston/weston.ini 根 1284 1159 0 12:28 tty2 00: 00:00 /usr/libexec/weston-keyboard 根 1286 1159 0 12:28 tty2 00:00:15 /usr/libexec/weston-desktop-shell。例如，/dev/video3。
2024-04-03 17:15:07
1041
原创 Qualcomm Robotics RB5 平台软件用户指南（1）
本文档介绍如何配置子系统功能、运行选定的系统用例以及使用可用的调试功能执行故障排除。本文档适用于有兴趣了解如何测试系统关键功能区域并排除故障的软件开发人员和系统测试人员。Robotics RB5 平台支持 Linux Ubuntu 和 Linux Embedded 操作系统。在本文档中，操作系统特有的信息使用单独的头来呈现。如需技术支持，请参阅https://www.qualcomm.com/support。
2024-04-03 17:13:54
1177
原创 Qualcomm 增强型软件开发套件 （QESDK） 启动和示例应用程序用户指南（3）
以下屏幕截图显示了活动识别传感器可以检测并发布到应用程序的事件和状态，具体取决于设备用户的用例。在 QESDK 应用程序仪表板上点击“性能”，然后点击“QAPE”以启动性能功能。点击 QESDK 应用程序仪表板上的位置以展开支持的精确定位功能的列表。获取流详细信息 – 将所有流添加到下拉选项并在日志中显示流详细信息。单击 DPP 后，将加载活动并显示 DPP 屏幕。单击 LLE 后，将加载活动并显示 LLE 屏幕。单击 LLI 后，将加载活动并显示 LLI 屏幕。最新日志显示在日志部分。
2024-04-03 14:56:31
906
原创 Qualcomm 增强型软件开发套件 （QESDK） 启动和示例应用程序用户指南（2）
通过运行 验证/system_ext/etc/public.libraries-qti.txt中的 libqesdk_ndk_platform.qti.so条目是否存在。通过运行 来验证清单文件是否存在 cat /vendor/etc/vintf/manifest_kalama.xml | grep qesd。有关QESDK 管理器或 QESDK 系统服务守护程序不活动时该怎么做的详细信息， 请参阅排除 QESDK 服务守护程序不活动的故障。QESDK 应用程序仪表板包含 QESDK 框架支持的功能。
2024-04-03 14:55:38
731
原创 Qualcomm 增强型软件开发套件 (QESDK) 启动和示例应用程序用户指南（1）
Qualcomm 增强型软件开发套件 (QESDK) API 提供对 QTI 特定硬件和软件功能的访问。具有有效许可证的第三方应用程序可以访问 QESDK 库。本文档适用于将 QESDK 与其应用程序集成的应用程序供应商。它提供了有关设置 SDK 的信息以及演示 SDK 功能的示例应用程序的概述。查看使用 QESDK 功能的先决条件，看看您是否具备开始使用所需的一切。如果这样做，请确保您已设置 QESDK，然后开始探索可用的 QESDK 功能，包括调制解调器功能、传感器功能、性能功能或精确定位功能。
2024-03-28 17:57:10
941
原创 高通智能多媒体（QIM）产品SDK快速入门指南（2）
平台 SDK 在 /build-qcom-wayland/tmp-glibc/deploy/sdk/创建。SDK 版本在https://github.com/quic-yocto/meta-qcom-qim-product-sdk/blob/kirkstone/conf/layer.conf的layer.conf文件中配置。使用 QIM 产品 SDK，您可以开发第一个名为 Hello QIM 的示例应用程序，也可以自定义并执行现有示例应用程序。主机已准备好进行应用程序开发。
2024-03-28 15:43:53
517
原创 高通智能多媒体（QIM）产品SDK快速入门指南 （1）
高通智能多媒体（QIM）产品SDK为在高通Linux平台上的边缘开发人工智能和多媒体用例提供了统一的环境。该SDK基于GStreamer，它是一个开源多媒体框架。GStreamer为智能多媒体应用程序开发提供了模块化、可扩展和可定制的环境。例如，Edge AI 盒子、相机、机器人、无人机等。
2024-03-28 15:43:11
1153
原创 QRB5165 硬件设计指南（7）
SMB1390 是一款单输入、可编程单节锂离子/锂聚合物电池充电器。SMB1390 是一款二分频电荷泵，可为大容量电池充电提供最高效率，每个 SMB1390 的快速充电能力高达 6 A。该器件可承受 +28V 直流电压、3.6V 至 12V 的宽工作输入范围，并允许消除降压稳压器解决方案中常见的电感器。
2024-03-28 14:16:59
427
原创 QRB5165 硬件设计指南（5）
由于在 USB 3.0 端口上进行了浪涌测试 (IEC 61000-4-5)，因此需要将 USB 3.0 PHY 0.9 V 电源（例如 VDDA_USB_SS_DP_CORE/VDDA_USB_SS_CORE 引脚）隔离或与专用 LDO 隔离。有关 eGPIO 的更多信息，请参阅QRB5165 引脚分配和 GPIO 配置电子表格(80-PV086-1A) 和QRB5165 硬件寄存器描述(80-PV086-2X)。有关唤醒引脚信息，请参阅QRB5165 数据表(80-PV086-1)。
2024-03-21 11:11:14
446
原创 QRB5165 硬件设计指南（4）
SPU240 提供安全、防篡改的执行环境。它具有紧密耦合的内存 (256 KB)，内置支持以 NPU 为中心的加载/存储操作以及与 DMA 的同步。NPU230具有用于DNN的3D DMA控制器，支持任意维度的3D数据结构移动、流式DMA、聚集/分散、填充/裁剪。基于硬件的资源和电源管理 (RPMh) 可实现更快的响应时间和更快的工作点转换，并能够更快地转换到低功耗模式。GPIO_7、GPIO_14、GPIO_124 和 GPIO_77 默认配置为 NFC、WiGig、WLAN/蓝牙和 SD 卡检测中断。
2024-03-21 11:10:09
943
原创 QRB5165 硬件设计指南（3）
对于此配置中的 DAE（数据采集引擎）支持，加速器/陀螺仪应连接到专用 I 2 C 总线 SSC_0_1 上的 SSC_4_7 (SPI) 和磁力计。QRB5165 器件可连接 6 个摄像头 (4 + 4 + 4 + 4 + 4 + 4) 或最多 12 个 (D-PHY)/18 (C-PHY) 摄像头。QRB5165 器件采用 Qualcomm Spectra 480 摄像头架构，该架构具有六个用于外部摄像头的接口 - 六个带有 CSI D-PHY 1.2 或 C-PHY 1.2 的 4 通道接口。
2024-03-21 11:08:34
394
原创 QRB5165 硬件设计指南(2）
该技术包括低封装翘曲。正式宣布芯片组通过 CS 后，所有经过验证的 DDR 部件号将在 Qualcomm 网站上列出（要查看这些部件号，请单击“硬件组件”选项卡并选择“内存”）。有关详细信息，请参阅SM8250/SXR2130/QRB5165/QCS8250/QCS8245 的 PoP 内存建议(80-VP300-16)。高性能（金牌）集群和低功耗（银牌）集群以及各自的二级缓存可以在不同频率的不同时钟源上运行。通过正确的 BOM 配置，可以实现支持 LPDDR5 的单个 PCB 设计，如下所述。
2024-03-14 16:52:22
347
原创 QRB5165 硬件设计指南(1)
Qualcomm 机器人 RB5 平台支持开发可通过 5G 连接的高计算、人工智能、低功耗机器人和无人机，适用于消费者、企业、国防、工业和专业服务领域。QRB5165 处理器专为机器人应用定制，提供强大的异构计算架构，可高效运行复杂的人工智能和深度学习工作负载以及设备上边缘推理，同时使用较低功耗、设备上机器学习和准确的边缘推理。
2024-03-14 16:51:02
872
原创 高通智能多媒体 SDK （QIM SDK） 快速入门指南（4）
Linux 工作站安装了 QIM SDK 工作流程的必备主机包后，可以通过从sdk -tools/scripts/host文件夹获取host_env_setup.sh脚本来启动 Linux 工作站上 QIM SDK 的工作流程。有关 QIM SDK 插件和应用程序的更多信息，请参阅 QCS8550.LE.1.0 Qualcomm 智能多媒体 SDK (QIM SDK) 参考(80-50450-50)。有关 json 配置文件中提到的条目的更多信息，请参阅/sdk-tools/中的Host.md自述文件。
2024-03-14 11:15:21
408
原创 高通智能多媒体 SDK （QIM SDK） 快速入门指南（3）
开发人员将设备连接到远程工作站，他们可以使用 sdk-tools 为 Windows 和 Linux 平台提供的实用程序将 QIM SDK 工件安装到设备 (QCS8550)。将脚本win.ps1从 /sdk-tools/scripts/local/到远程 Windows 计算机。使用/sdk-tools/scripts/local/中的帮助程序实用 程序根据操作系统在设备上安装工件。设备连接到工作站，QIM SDK 容器可以 通过 USB/adb 访问设备。
2024-03-14 11:13:40
960
Hetcompute image processing example (2).docx
2019-07-31
Hetcompute image processing example (1).docx
2019-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人