Hexagon DSP FastRPC简介

已于 2022-08-01 19:44:10 修改
阅读量5.8k 收藏 35
点赞数 7
分类专栏： Hexagon DSP FastRPC 概念介绍 文章标签： dsp开发 android
于 2022-08-01 17:41:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42112050/article/details/126102800
版权

文章目录

先验知识

AMP(Asummetric Multiprocessing System[异构多处理系统])

  • 目前的芯片，很多都包含了多个核心，而且之间的架构不同。
    比如手机的芯片，包含了CPU、GPU、DSP等不同的处理单元。
  • 不同的核心上系统可能不同，Linux/Android，RTOS
  • 不同的架构，不同的系统，就组成了AMP
  • AMP中的核心，一般会组成主从结构，主核心先启动，准备好环境后加载从核心，而主从核心会通过IPC方式通讯。

IPC(Inter Process Communication[跨进程通信])
这是一个比较泛指的概念，所有不同进程间的通信都可以称为IPC
它包括信息传递，资源共享

什么是RPC

RPC(Remote Procedure Call[远程过程调用])
特指一种隐藏了过程调用时实际通信细节的IPC方法，是IPC的一种。
PRC的工作方式就是“Client-Server”，比如CPU(客户端)去调用DSP(服务端)中的函数

  • 客户端调用本地函数，将要处理的参数打包到一个消息中
  • 客户端把这个消息发送给服务端提供的方法
  • 服务端从消息中解出参数并执行
  • 服务端将返回值或者数据再打包发送回客户端

在这里插入图片描述
RPC只是一种技术手段，并没有统一的标准。因此具有很多不同的实现，比如gRPC、Dubbo、Thrift和FastRPC等。

FastRPC

FastRPC是一个基于XML-RPC的RPC(远程过程调用)协议，XML-RPC使用二进制格式进行数据序列化。它像XML-RPC一样使用HTTP作为传输协议。FastRPC也是这个协议的一个实现，FastRPC框架允许用户透明地在应用程序和DSP处理器之间进行远程方法调用。
CPU和DSP之间的通信是通过中断共享内存完成的。由于CPU和DSP不共享缓存，因此需要对它们之间处理的所有缓冲区执行维护操作。这些过程至少需要几百微秒。根据系统时钟设置和启用的CPU睡眠模式，每次调用DSP的开销可能会延长到几毫秒。因此，最好将大型任务卸载到DSP上，而不是调用它来处理小型的琐碎任务。
下图描述了对单个方法的调用，其中客户机和对象驻留在不同的处理器上。其中客户端驻留在APPS上(例如，Snapdragon CPU)，对象驻留在aDSP(application DSP)上(例如，Hexagon)。stub和skel是自动生成的，您只需要从应用程序处理器调用该函数并在aDSP上提供该函数的实现。
FastRPC工作流程

Client启动远程调用的用户模式进程
Stub与Client连接，用于自动生成交互代码并编排参数，存根函数是自动生成的代码，用于将函数调用转换为RPC消息。通常情况下，存根代码将编译为单独的本机库，然后将其与客户端链接。存根代码使用libadsprpc.so和libcdsprpc.so库通过相关的ioctl来调用应用程序处理器（AP）上的DSP RPC驱动程序（/dev/adsprpc-smd或/dev/cdsprpc-smd）。
ADSPRPC DriverADSPRPC核心驱动，用于接收远程调用，安排队列然后在向远程端发送信号后等待响应。DSP RPC内核驱动程序接收远程消息调用，通过共享内存驱动程序（SMD）通道，将队列中的消息发送到DSP上的DSP RPC框架，然后等待响应。
ADSPRPC FrameworkADSPRPC框架从队列中取出消息并为其调度处理，DSP RPC框架从队列中删除消息，然后将其分派给骨架动态库（skeleton dynamic library）进行处理。
Skel为未编排的参数自动生成代码，skel是一个自动生成的库，用于对参数进行解组（unmarshal）并调用目标方法的实现。
Object实现调用的方法

FastRPC的设计围绕几个特性，使移植任务尽可能容易:
● 远程调用的初始化看起来就像在本地调用一样，通过IDL(接口描述语言)提供函数定义。
● 工具自动生成接口头和库来处理参数传递、缓存一致性。
● 对于FastRPC调用动态模块，框架会为你加载aDSP模块。
● FastRPC是同步的。这消除了让内核在异步调用中管理aDSP和APPS之间状态的复杂性。
在支持FastRPC的Android设备上，以下是将你的工作转移到aDSP的步骤：

  1. 下载并安装Hexagon SDK。
  2. 用IDL(接口描述语言)描述你的工作的API，IDL语法允许定义函数调用的名称以及在应用程序和DSP处理器之间交换的每个参数的类型。
  3. 自动生成你的头文件，以及存根和skel库。
  4. 在DSP上实现你的API，将它和skel库链接到一个共享对象，将共享对象推送到设备。
  5. 将存根链接到你的android原生应用，并调用你的API。
  6. (可选)为API创建java绑定，并从APK调用API。

使用ION内存分配器

DSP硬件不太适合处理不连续内存，不连续内存指用户从简单的“malloc”调用中获得的那种内存。Android提供了一个名为ION的内存分配器，它可以为客户端共享缓冲区。有关ION的更多深入文档，请参见此链接。
不同版本的Android提供了略微不兼容的ION实现。下文描述了ION不同版本之间API的一些差异。

ICS和后续的安卓版本

与JB/KK/L等后来的Android版本相比，ICS实现包含不兼容的ion_alloc ioctl结构。
ICS

struct ion_allocation_data {
     size_t len;
     size_t align;
     unsigned int flags;
     struct ion_handle *handle;
};

调用者应该设置flags变量来指定堆id

alloc.flags = (0x1 << HEAP_ID);

JB/KK/L

struct ion_allocation_data {
     size_t len;
     size_t align;
   unsigned int heap_mask;
     unsigned int flags;
     struct ion_handle *handle;
};

调用者应该设置heap_mask变量来指定堆id

alloc.heap_mask = (0x1 << HEAP_ID);

Heap IDS
ION将内存隔离到不同的堆中，用户可以使用这些堆分配内存。Android的堆是在构建时配置的，并且受容量限制。要找出设备上存在哪些堆，请查看设备的dtsi文件。
例如，8998的adsp连续堆定义在kernel/arch/arm/boot/dts/msm8998.dtsi中

adsp_mem: adsp_region {
   compatible = "shared-dma-pool";
   alloc-ranges = <0 0x00000000 0 0xffffffff>;
   reusable;
   alignment = <0 0x400000>;
   size = <0 0x800000>;
};

它在内核/arch/arm/boot/dts/msm8998-ion.dtsi中注册为堆id 22

qcom,ion-heap@22 { /* ADSP HEAP */
    reg = <22>;
    memory-region = <&adsp_mem>;
    qcom,ion-heap-type = "DMA";
};

这些可能会在不同的Android版本和不同的用例之间发生变化。实现者应该注意让他们使用的堆id在应用程序外部可配置。或者使用一个适合他们的用例。

RPCMem

这个库是使用Android的ION内存分配器的示例代码。
用户应该查阅Android版本中的rpcmem.h和ion文档以获得更多信息。
示例

int main() {
   void* buf = 0;
   int heapid = RPCMEM_HEAP_ID_SYSTEM;

   //call this once at the start of your program
   //Note: rpcmem_init is not thread safe
   rpcmem_init();

   // Refer rpcmem.h for recommendation on heap id
   // For remote subsystems with SMMU (ADSP and CDSP), heapid = RPCMEM_HEAP_ID_SYSTEM;
   // For remote subsystesm without SMMU (SLPI, mDSP), heapid = RPCMEM_HEAP_ID_CONTIG;
   buf = rpcmem_alloc(heapid, RPCMEM_DEFAULT_FLAGS, 4096);

   assert(buf);

   memset(buf, 0xff, 4096);

   rpcmem_free(buf);

   //call this once at the end
   rpcmem_deinit();
   return 0;
}

DSP保护域

由于DSP是一个实时处理器，其稳定性严重影响整个用户体验，因此在DSP软件架构中存在不同的保护域(PDs)。这些PDs确保了核心软件的稳定性和高通专有硬件信息的安全性。在DSP上有各种类型的保护域。每种类型都有不同的特权。
➢ 内核: 访问所有pd的所有内存
➢ Guest OS: 访问自己PD的内存，DSP上所有用户PD的内存，以及一些系统寄存器
➢ User: 只访问自己PD的内存
DSP系统库根据需要对客户操作系统或内核进行系统调用，以访问操作系统服务。FastRPC客户端程序运行在用户pd中。

动态PD VS静态PD

用户pd可以在启动时静态创建，但它们通常是由CPU应用程序在运行时动态创建的，需要将模块卸载到DSP。静态和动态pd都支持共享对象的动态加载。
静态PD
静态pd是在dsp上创建的，以支持特定的用例，如音频和传感器。静态pd允许在CPU上运行的守护进程的帮助下动态加载共享对象。
动态用户PD
每个通过FastRPC使用DSP的CPU用户进程在DSP上会有一个对应的动态用户PD。FastRPC内核驱动管理动态用户PD的生命周期。也就是说，如果CPU用户进程退出，相应的DSP上的用户PD也会被清除。
DSP支持不同类型的动态用户PD环境，包括有符号PD和无符号PD。
每个DSP只能支持有限数量的动态用户PD并发。这个限制取决于每个支持的芯片和DSP的硬件配置。

有签名PD VS 无签名PD

DSPs支持不同类型的动态执行环境(动态PDs)，包括有签名和无签名的PDs。
签名的PDs在所有的DSP上都是可用的，它们要求PD中加载的模块(共享对象)都使用数字签名。在PD中加载共享对象时，必须对该签名进行验证。
无签名PDs只被cDSP支持，它们允许DSP模块在没有任何数字签名的情况下加载。
无签名PD是一个沙箱的低权限进程，它允许无签名模块在cDSP上运行。在发生安全泄露的情况下，沙箱会阻止对完整系统功能和数据的访问。无签名的PDs被设计为支持一般的计算应用程序，并且对底层驱动程序有有限的访问权限。无签名PD中的可用/不可用服务将来可能会改变，这取决于持续的安全检查。
未签名的PD可用服务
● 线程创建和线程服务
● 定时器创建和定时器服务
● HVX上下文
● 时钟频率控制
● VTCM
● 缓存的操作
● 映射对应HLOS应用程序分配的HLOS内存
无符号PD的局限性
● 访问受限的驱动器:UBWC/DMA和相机流光对未签名的PD不可用
● 不能访问L2缓存锁定API
● 线程的局限性
线程优先级上限(任何无符号PD线程的最高优先级):64。
每个unsigned PD允许的最大线程数:128
请求无签名卸载
客户端请求一个无签名的动态模块卸载，请求如下:

#pragma weak remote_session_control
if (remote_session_control)
{
    struct remote_rpc_control_unsigned_module data;
    data.enable = 1;
    data.domain = CDSP_DOMAIN_ID;
    remote_session_control(DSPRPC_CONTROL_UNSIGNED_MODULE, (void*)&data, sizeof(data));
}

基准测试示例演示了如何使用这种方法在无符号PD中运行代码。
客户端的DSP进程在第一次启动时被实例化为有签名或无签名的PD，并且这个状态不能被改变。因此，对remote_session_control的调用必须在对DSP进行任何FastRPC调用之前进行。来自remote_session_control()函数的成功消息允许客户端在不签名的情况下将动态共享对象卸载到cDSP。

FastRPC域

域是用于加载和执行代码的远程环境。每个HLOS进程可以在不同的DSP上运行并发的PD(会话)。一个HLOS进程只能有一个PD运行在任何给定的DSP上。HLOS进程加载的模块被加载到特定DSP上相应的PD中。下图概述了域的功能。这里的M#对应于PD上加载的模块。如果用户希望将计算offload给多个DSP，可以使用域，而不需要将二进制文件重新链接到不同版本的fastRPC库。
注：从8998起支持域名功能。
在这里插入图片描述

性能优化-高通cDSP（QDSP6）架构详解
发狂的小花的博客
11-09 4560
高通cDSP开发的商业价值30秒快速认识高通cDSP开发的商业价值【高通cDSP旨在处理一些简单但需要大量计算的场景，如图像处理、科学计算、AI训练、计算机视觉等。这些场景使用CPU来运算会极大的降低CPU的吞吐量，因此利用现代寄存器较宽的特性设计出了适配数据并行的DSP芯片，cDSP就是典型的代表。利用cDSP+CPU既可以满足一般的使用场景，也可以完成现代图像和视频数据的处理。
【实战】高通CDSP的使用
静谧、淡雅
12-06 209
高通CDSP编程
【从零打造高通平台hexagon dsp profiling性能分析工具-2】
weixin_37653163的博客
01-31 1088
做事情要know how，知其然知其所以然。高通pmu介绍比较吝啬，我专门问过高通资深CE也问不出更多信息，不过这块可以参考arm pmu的定义，相互比对这看，道理都是相通的。多于8个pmu寄存器的周期性读取是很底层的东西，也需要一些工程化能力，这也是itrace工具的价值，但它有致命bug，因此不得不再往下挖，用qurt api来实现pmu寄存器的读取。本文介绍了高通dsp sdk中怎么获取pmu寄存器定义，介绍了几种配置/获取pmu的方法及存在的问题及解决方法，欢迎留言交流。
`Fastrpc` - 高性能、轻量级的RPC框架
gitblog_00017的博客
04-22 563
Fastrpc - 高性能、轻量级的RPC框架 fastrpc这是一个基于 FastAPI 的 浏览器 RPC 服务端项目地址:https://gitcode.com/gh_mirrors/fa/fastrpc Fastrpc 是一个针对微服务架构设计的高性能、轻量级的远程过程调用（RPC）框架。其目标是简化服务间的通信，提高系统的响应速度和整体效率。这个开源项目由开发者 mic1on 维护，并...
FastRPC 项目使用教程
gitblog_00538的博客
09-13 1007
FastRPC 项目使用教程 fastrpc 这是一个基于 FastAPI 的 浏览器 RPC 服务端 项目地址: https://gitcode.com/gh_mirrors/fa/fastrpc ...
fastRPC服务使用
jinyuttt的专栏
03-11 1432
现在出现了很多中间件解决跨语言问题，使用RPC远程调用；但是庞大是个问题，而且要按照格式使用。尤其是源码量比较庞大。为了简单易用，我采用订阅发布模型，在此基础上创建了fastRPC,模拟RPC，调用远端方法。其实主要过程就是通过提供的类，将每个参数打包为特定格式，按照类型名称，在服务端匹配转换；服务的接收后进行方法处理；我已Java创建了原型，代码很少，也可以很方便的转换成C#，c++语言。服务使...
fastRPC框架
03-14
RPC实现模型，封装通信，简化操作；在发布订阅基础上抽象而来，可以很容易翻译为c++,c#
探索高性能RPC框架：FastRPC
gitblog_00004的博客
04-05 499
探索高性能RPC框架：FastRPC 去发现同类优质开源项目:https://gitcode.com/ 是一个轻量级、高效率的远程过程调用（RPC）框架，旨在提供快速、稳定的跨语言通信能力，以满足现代分布式系统的需求。该项目以简单易用和高度可扩展性为核心，为开发人员提供了灵活的工具集，帮助他们构建高性能的服务架构。 技术解析 FastRPC 基于先进的网络库设计，实现了高效的TCP/IP协议栈，通...
FastRPC：高性能、轻量级RPC框架指南
gitblog_00520的博客
09-12 551
FastRPC：高性能、轻量级RPC框架指南 fastrpc 这是一个基于 FastAPI 的 浏览器 RPC 服务端 项目地址: https://gitcode.com/gh_mirrors/fa/fastrpc ...
Hexagon_DSP_User_Guide(1)
weixin_38498942的博客
05-12 1916
Hexagon 链接器控制脚本 （3）3.5 VerifyanapplicationrunningontheDSP3.6 OverheadforaFastRPCcall3.7 OverheadforlaunchingDSPthreadsfromtheDSP4 OptimizetasksfortheDSP4.1 Programminglanguagesandextensions4.1.1 C/C++ support4.1.2 Halidelanguage4.1.3 Compilerintrinsics4.1.
fastRPC升级
jinyuttt的专栏
05-16 380
根据fastRPC的应用测试，用DB操作发布服务测试，对已经存在的问题进行升级; 主要修改内容： 1.添加自定义加载器，根据配置文件，允许设置目录，放置第三方jar包，解决打包问题 2.默认情况，服务器目录放置我们发布的服务,commonlib目录放置其它第三方引用包。 3.修改TCPt通信，解决客户端不关闭TCP进行多次使用的情况。 4.添加配置目录，配置放置jar包的目录。最近信息，...
QCOM骁龙处理器开发技术说明书 - Hexagon DSP User Guide.pdf
06-18
QCOM骁龙处理器开发技术说明书 - Hexagon DSP User Guide.pdf
高通Hexagon通用计算DSP介绍
yeeman的专栏
03-01 8245
Qualcomm Hexagon Compute DSP (cDSP)是高通平台上专门用来做通用计算的硬件加速单元，与主机 CPU 相比，DSP 通常以较低的时钟速度运行，并提供更多的并行指令级。 这使得 DSP 在功耗方面成为 CPU 的更好替代品。 因此，将尽可能多的大型计算密集型任务移植到 DSP 上，可以降低设备的整体功耗。 cDSP主要用途有： 摄像头、视频的图像增强相关处理 计算机视觉、增强、虚拟现实处理 深度学习硬件加速 cDSP在SOC架构中位于下图红色框内。 cDSP硬件架构
【从零打造高通平台hexagon dsp profiling性能分析工具-9】
最新发布
weixin_37653163的博客
02-06 1019
本文介绍了实现自研dsp/cpu联合profiling trace分析工具的实操环节，虽然没有代码，但是我相信有些聪明的读者已经能明白我的技术路线实现cpu/dsp多进程联合分析的巧妙之处了。后面的文章详细介绍pmu 事件的记录方式及pmu group组的注册、切换、周期性sampler等机制。
性能优化-HVX架构简介
发狂的小花的博客
01-20 1769
跟 RPC 的调用类似，通常算法会编译成两个库，一个在 host 端运行的 Stub 库，一个在 device 端运行的 Skel 库。客户端需要把本地参数传给远程函数，本地调用的过程中，直接压栈即可，但是在远程调用过程中不在同一个内存里，无法直接传递函数的参数，因此需要客户端将要调用的函数名以及参数打包，然后通过网络发送到服务器。远程调用时，首先客户端需要告诉服务器，需要调用函数，这里函数和进程 ID 存在一个映射，客户端远程调用的时候，需要查一下函数，找到对应的 ID，然后执行函数的代码。
分布式系统：FastRPC eRPC
学习，学习，学习
12-18 2175
目录数据中心的RPC可以既通用且快作者要达成什么目标？基本思路optimize for the common case关键数据结构：msgbufmsgbuf的race condition参考 数据中心的RPC可以既通用且快 这篇是2019年NSDI会议的最佳论文[1]。看到6.824的2020年课程也即将讲这篇文章，安排在明年4月17日。这里先自己试着读一下。 作者要达成什么目标？ 不用特殊的硬...
Hexagon_DSP_User_Guide(2)
weixin_38498942的博客
05-12 721
Hexagon 链接器控制脚本 （4）4.2Guidelinesforassemblyandintrinsicoptimization4.2.1 Maximizeinstructionsperpacket4.2.1.1 Scalarinstructionpackingrules4.2.1.2 HVXpackingrules4.2.2 Understandandreducestalls4.2.2.1 Instructionlatencies4.2.2.1.1 Threadvs.processorcycles
Hexagon DSP SDK简介与HVX扩展（1）介绍
qq_41696458的博客
01-19 4874
一、DSP与HVX简介 1、DSP 在介绍HVX前，先看DSP，DSP就是帮CPU分担工作的一种处理器，特性就是效率高，功耗低，能够有效抑制发热问题。 从8150开始，有四个单独的dsp，每个dsp用于特定的功能： 传感器（sDSP） 调制解调器（mDSP） 音频（aDSP） 计算（cDSP） 2、HVX HVX 是Hexagon Vector eXtensions的简称，HVX是DSP中一个可选的协处理器，它为标量DSP单元添加了128字节的矢量处理功能（在HVX编程的时候很多处理都要128对齐）。标
RPC原理与FastRPC实现
SunnyZhou-1024的博客
05-01 5781
你到一家餐厅吃饭，店里有一个服务员为你服务。你点完菜之后，服务员就走进了后厨。但是，服务员并不是直接将你点的菜告诉他们店里的厨师，相反的，他打电话到别的店点了外卖，外卖到了之后他将饭菜重新装盘，然后给你端了上来。但是你是不知道这个细节的，在你看来，这次吃饭和以往的任何一次没有区别，服务员端上的饭菜在哪里做的你是不知道的，你和平常一样点了菜然后菜就上了，你并不需要自己去关心怎么找到外卖电话，怎么将饭菜装盘。你只管点菜和吃，除了可能等的时间比以往略久，没有任何区别。这个栗子中，服务员就扮演着RPC 中代理的角色
audio_pdr_adsprpc
06-02
Audio PDR（Power Domain Resource） ADSPrpc 是高通芯片中的一个模块，主要用于音频处理和功耗管理方面的功能。Audio PDR ADSPrpc 模块可以优化设备的功耗，延长电池寿命，并且可以协调多个音频处理模块之间的资源共享。 在 Android 系统中，Audio PDR ADSPrpc 被广泛应用于音频处理方面，例如音频编解码、音频效果处理、音频输入输出等方面。Audio PDR ADSPrpc 还可以有效地管理多个音频处理模块之间的资源共享，避免资源冲突和浪费。 ADSPrpc（Asynchronous Data Service Process Remote Procedure Call）是高通芯片中的一个通信协议，用于在高通芯片和高通设备之间进行通信。在 Android 系统中，ADSPrpc 被广泛用于与高通芯片中的各种模块进行通信，例如移动通信模块、音频模块、传感器模块等。 由于音频处理对于移动设备来说非常重要，因此 Audio PDR ADSPrpc 模块的性能和稳定性也成为了高通芯片的重要指标之一。高通公司不断优化和改进 Audio PDR ADSPrpc 模块，以提供更好的音频体验和更高的功耗效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值