TVM交叉编译和远程RPC

最新推荐文章于 2024-03-01 15:53:30 发布

wujianming_110117

最新推荐文章于 2024-03-01 15:53:30 发布

阅读量518

点赞数

分类专栏： GPU，NPU，XPU，DPU，MPU 视频推理智能推理

吴建明

本文链接：https://blog.csdn.net/wujianing_110117/article/details/114381955

版权

TVM交叉编译和远程RPC
本文介绍了TVM中使用RPC的交叉编译和远程设备执行。
使用交叉编译和RPC，可以在本地计算机上编译程序，然后在远程设备上运行它。当远程设备资源受到限制时（如Raspberry Pi和移动平台），此功能很有用。本文将使用Raspberry Pi作为CPU示例，并使用Firefly-RK3399作为OpenCL示例。
在设备上构建TVM运行时
第一步是在远程设备上构建TVM运行时。
本文所有指令都应在目标设备（例如Raspberry Pi）上执行。假设目标正在运行Linux。
由于在本地计算机上进行编译，因此远程设备仅用于运行生成的代码。只需要在远程设备上构建TVM运行时。
git clone --recursive https://github.com/apache/tvm tvm
cd tvm
make runtime -j2
成功构建运行时后，需要在_{/.bashrc文件中设置环境变量。可以}/.bashrc 使用进行编辑并添加以下行（假设TVM目录位于）：vi _/.bashrc/tvm
export PYTHONPATH=$PYTHONPATH:~/tvm/python
要更新环境变量，执行。source ~/.bashrc
在设备上设置RPC服务器
要启动RPC服务器，在远程设备上运行以下命令（在本示例中为Raspberry Pi）。
python -m tvm.exec.rpc_server --host 0.0.0.0 --port=9090
如果看到下面的行，则表明RPC服务器已在设备上成功启动。
INFO:root:RPCServer: bind to 0.0.0.0:9090
在本地计算机上声明并交叉