高通AI Stack Models开源仓库介绍(一)

9 篇文章 0 订阅
2 篇文章 0 订阅

文章介绍

AI是高通一直关注的领域,为此推出了高通Qualcomm AI Stack,提供了一个集成所有AI框架(如TensorFlow、PyTorch、ONNX、Keras)、开发者库、系统软件和操作系统的整合平台,有不同层面的架构支持,能够助力开发人员一次开发,即可跨不同终端和操作系统进行扩展,赋能生态系统。高通进一步推出了Qualcomm AI Stack Models,演示了使用Qualcomm AI Stack端到端的解决方案,以及使用到的AI模型,也提供模型精度调优的例子。Qualcomm AI Stack Models的代码可以在这里获得

https://github.com/quic/ai-stack-models/tree/main/

本文主要介绍Qualcomm AI Stack Models代码仓库中的AI解决方案部门,下图是解决方案的工作流程。

参考下面的部署,把示例代码部署到不同的操作系统平台上

AI 解决方案

1. Linux版本 AI solution

  • 根据QCS8550.LE.1.0的release note,下载基线并编译基线,下载到设备确认能正常启动
  • 编译生成ai-solutions app文件,并下载对应的镜像到设备,确认ai-solutions app在对应目录下(build-qti-distro-fullstack-debug/tmp-glibc/work/qrb5165_rb5-oe-linux/qti-robotics-image/1.0-r0/rootfs/usr/bin/)
  • 运行ai-solutions app,确认结果

命令:ai-solutions -c <path to config.json> -i <path to Input image> -o <path to Output image>

2. Ubuntu版本 AI solution

1)electron-gui

I. electron_app_ui目录:该目录包含UI代码,并处理启动UI并将其连接到flask server的部分。在这里,用户提供输入图像,选择人工智能模型供他们使用。所有这些信息都使用ajax请求发送到python。

  • 安装依赖项:
  • pip install empatches flask opencv-python pillow icecream flask_cors zmq pyinstaller numpy==1.24.3
  • 创建sr_dlc目录并将dlc放在此目录,dlc按照models-for-solutions目录生成
  • 开始运行flask server:python server.py
  • 服务器端口为9081,查看网页为http://localhost:9081

II. SNPE_CPP_CODE目录:这是Flask server的服务。这将在网络上运行经过预处理的图像,并将模型给出的输出返回到Flask Server。

  • zmq_support.patch打到SNPE SDK,然后将examples/NativeCpp/SampleCode/jni拷贝到SNPE_CPP_CODE 
  • 根据您的设置更改SNPE_CPP_Code的CmakeLists.txt中的以下路径:

set (SNPE_ROOT "/opt/qcom/aistack/snpe/2.12.0.230626/")

set (SNPE_INCLUDE_DIR "${SNPE_ROOT}/include/SNPE")

set (SNPE_LIB_PREFIX "${SNPE_ROOT}/lib")

set (_dtuple_POSTFIX ubuntu-gcc7.5) 

  •  创建build目录然后编译  

mkdir build

cd build

mkdir Release

cmake --build ./

III. python_flask_server目录:Electron UI充当前台,Flask server在后台处理来自Electron用户界面的请求。它获取elecron UI提供的所有信息,并在此处对接收到的图像进行预处理,然后将处理后的图像提供给SNPE_CPP_CODE以运行所选模型。SNPE_CPP_CODE返回模型的输出,然后我们将模型给出的数据处理成人们可以理解的形式,并将其返回到Electron UI进行显示。

  • 安装npm依赖包:npm install
  • Start UI

node package_snpe_cpp.js && node package_python.js

npm start

  •  生成package

npm install

export USE_SYSTEM_FPM=true

npm run package

  • 安装package

dpkg -i <package>.deb

  •  运行app

setx  DISPLAY 127.0.0.1:0.0

ssh -X root@target_ip   NOTE:(default password:- oelinux123)

echo "X11Forwarding yes" >> /etc/ssh/sshd_config

export DISPLAY="localhost:10.0"

ai-solutions --no-sandbox

3. Windows版本AI solution

1)angular-app-nlp

I. python_flask_server目录

  • 安装依赖项:
  • pip install empatches flask opencv-python pillow icecream flask_cors zmq pyinstaller numpy==1.24.3
  • 创建sr_dlc目录并将dlc放在此目录,dlc按照models-for-solutions目录生成
  • 开始运行flask server:python server.py
  • 服务器端口为9081,查看网页为http://localhost:9081

II. SNPE_CPP_CODE目录

  •  zmq_support.patch打到Windows SNPE SDK,然后将所有文件拷贝到SNPE_CPP_CODE 
  • ZeroMQ库,请参照如下命令

libzmq:

git clone https://github.com/zeromq/libzmq.git

cd libzmq

mkdir build

cd build

cmake ../. -G "Visual Studio 17 2022" -D WITH_PERF_TOOL=OFF -D ZMQ_BUILD_TESTS=OFF -D ENABLE_CPACK=OFF -D CMAKE_BUILD_TYPE=Release

Open ZeroMQ.sln in Visual Studio

In Solution Directory, right click on INSTALL and build solution

See that the ZeroMQ is installed in C Drive.

Cppzmq:

git clone https://github.com/zeromq/cppzmq.git

cd cppzmq

mkdir build

cd build

`cmake ../. -G "Visual Studio 17 2022"

Open cppZMQ.sln in Visual Studio

In Solution Directory, right click on INSTALL and build solution

Confirm that cppzmq is installed in C Drive.

  • 根据您的设置更改SNPE_CPP_Code的CmakeLists.txt中的以下路径:

set (SNPE_INCLUDE_DIR "C:/Qualcomm/AIStack/SNPE/2.12.0.230626/include/SNPE")

set (SNPE_LIB_PREFIX "C:/Qualcomm/AIStack/SNPE/2.12.0.230626/lib")

set (ZERO_MQ_PATH "C:/Program Files (x86)/ZeroMQ")

根据您的设置更改DLL文件名: get_filename_component(ZMQ_DLL_PATH "${ZERO_MQ_PATH}/bin/libzmq-v143-mt-gd-4_3_5.dll" REALPATH BASE_DIR ${CMAKE_CURRENT_SOURCE_DIR})

  • 创建build目录然后编译

Mkdir build

Cd build

cmake ../ -G "Visual Studio 17 2022" -A ARM64

cmake --build ./ --config Release

III. Electron app UI目录

  • 运行生成.exe文件

npm install

npm run build

npm run dist

  • 可以在release文件夹下找到exe文件,运行文件
  • 使用命令npm start就可以在浏览器中打开应用程序

2)electron-app-cv(参照angular-app-nlp流程)

作者:高通工程师,戴忠忠(Zhongzhong Dai)

  • 22
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 我可以为您查找有关FPGA上开源的基于堆栈的CPU的信息。一些流行的选项包括J1 CPU,FLEA CPU,以及OpenCores的OR1200 CPU。您还需要进一步调查以确保这些选项适合您的特定需求。 ### 回答2: 在FPGA上有一些开源的基于栈的CPU可供选择: 1. J1 CPU:J1是一个基于栈的CPU,它以精简为设计目标,适合在FPGA上实现。它具有简单的指令集和基本的堆栈操作,可以轻松地与其他外设进行集成。 2. VexRiscv:VexRiscv是一个基于RISC-V指令集的开源处理器,可以在FPGA上进行实现。它支持栈操作以及其他高级功能,例如乘法和除法等,可以用于各种应用领域。 3. PicoRV32:PicoRV32是一个小型的RISC-V处理器,适用于嵌入式系统和FPGA开发。它具有一个基本的堆栈指令集和流水线架构,适合实现在资源有限的FPGA上。 4. OpenCores OR1K:OpenCores OR1K是一个基于开源指令集架构OpenRISC的处理器。它支持栈指令集和流水线操作,可以在FPGA上构建一个完整的系统。 这些开源的基于栈的CPU提供了灵活性和可定制性,可以根据特定应用的需求进行修改和优化。通过在FPGA上实现这些CPU,可以加速原型设计和软件开发过程,并满足各种应用领域的需求。 ### 回答3: FPGA上的开源stack-based CPU包括StackCPU、OpenCores、JOP等。 StackCPU是一个开源的基于堆栈的CPU,它具有简单的指令集和紧凑的设计。它使用堆栈作为主要的数据结构,提供了一系列基本的堆栈操作指令,如入栈、出栈和复制。StackCPU的设计精简,适合在FPGA上进行快速原型设计和验证。 OpenCores是一个开源硬件社区,提供了许多开源的硬件设计,包括基于堆栈的CPU。这些堆栈CPU的设计取决于具体的项目和需求,所以具体的实现会有所不同。OpenCores提供了一些可用的开源堆栈CPU设计,供用户参考和使用。 JOP(Java Optimized Processor)是一个开源的Java优化处理器,也是一个基于堆栈的CPU。JOP的设计目标是为嵌入式系统提供高性能和低功耗的Java执行环境。它提供了Java字节码的硬件执行支持,并具有符合Java虚拟机规范的功能。JOP的开源设计和可定制性使其成为在FPGA上构建Java嵌入式系统的理想选择。 总结起来,FPGA上的开源的堆栈CPU包括StackCPU、OpenCores和JOP等,它们都提供了不同的优化和功能,适用于不同的应用场景和需求。用户可以根据自己的需求选择合适的设计,并基于FPGA进行快速原型设计和验证。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值