TVM：源码编译安装

TVM：Linux源码编译安装

笔者环境：

OS：Ubuntu 18.04

CMake：3.10.2

gcc：7.5.0

cuda：11.1

编译安装过程总览

本文将简介 tvm 的编译安装过程，包含两个步骤：

1. 通过C++代码构建共享库
2. 设置相关的语言包（如Python包）

源码获取

官网教程提供了两种源码获取方式：

1. 通过下载页面直接下载

2. 通过 github 仓库来下载

   git clone --recursive https://github.com/apache/tvm tvm
   

   注意一定要有 --recursive 参数，保证子模块正常下载。

构建共享库

构建 tvm 共享库，在我们 Linux 系统上即 libtvm.so 和 libtvmruntime.so 。也可以只构建运行时库 libtvmruntime.so ，在要被部署的远程边缘设备（如树莓派、移动手机等）上，我们通常只需要安装运行时库。这也会在后面介绍远程边缘部署时提到。总之现在，在我们的主机上，我们先完全安装 tvm。

准备工作

官方给出的安装 tvm 的最小要求如下：

• 一个支持C++ 14 的编译器 (如g+±5 or higher)
• CMake 3.5 or higher
• 强烈建议安装 llvm
• Python 3.7 / 3.8 (Python 3.9 暂不支持)
• 如果要使用CUDA，CUDA toolkit version >= 8.0

安装最小依赖

安装上述最小要求的命令（ubuntu / debian）：

sudo apt-get update
sudo apt-get install -y python3 python3-dev python3-setuptools gcc libtinfo-dev zlib1g-dev build-essential cmake libedit-dev libxml2-dev

检查一下CMake，如果没有的话，到该下载页面下载。

llvm

llvm 虽然不是强制要求，但我们通常都是需要的，强烈建议大家安装。过程也很简单，从这个下载页面选择适合我们设备和系统的 pre-built 版本（压缩文件 .xz）下载并解压即可：

wget http://releases.llvm.org/x.x.x/clang+llvm-x.x.x-x86_64-linux-gnu-ubuntu-xx.xx.tar.xz

tar -xf clang+llvm-x.x.x-x86_64-linux-gnu-ubuntu-xx.xx.tar.xz

解压完成后进入解压目录，找到 bin 目录下的 llvm-config 文件，记下其路径，一会儿要用。

开始编译构建

准备工作完成之后我们开始编译构建。

首先进入到我们刚才下载的 tvm 源码目录下，新建 build 目录，将 cmake 目录下的 config.cmake 拷贝的 build 目录下：

cd tvm
mkdir build
cp cmake/config.cmake build/

然后按需修改 config.cmake 文件：

• 如果要时候用某些后端和库（如CUDA, OpenCL, RCOM, METAL, VULKAN,等）。这里以CUDA为例，将 set(USE_CUDA OFF) 修改为 set(USE_CUDA ON)，其他库同理。

• 为了帮助调试，需要启用嵌入式图形执行器和调试功能 set(USE_GRAPH_DEBUG ON) 、 set(USE_PROFILER ON)

• 如果要调试 IR，要启用 set(USE_RELAY_DEBUG ON) ，并设置环境变量：

  export TVM_LOG_DEBUG="ir/transform.cc=1;relay/ir/transform.cc=1"
  

• 使用 LLVM，这里要使用到我们刚才记下的 LLVM 路径了，设置 set(USE_LLVM /path/to/your/llvm/bin/llvm-config)

config.cmake 修改完成后，我们开始构建 tvm 及相关库：

cd build
cmake ..
make -j4

Python 包

Python 会根据环境变量 PYTHONPATH 寻找库文件，在 ~/.bashrc中设置这个环境变量，其中 /path/to/tvm 是上文 tvm 目录的绝对路径。

export TVM_HOME=/path/to/tvm
export PYTHONPATH=$TVM_HOME/python:${PYTHONPATH}

python 依赖安装

• 必需依赖

  pip3 install --user numpy decorator attrs
  

• 如果要使用 RPC 追踪器

  pip3 install --user tornado
  

• 如果要使用 auto-tuning 模块

  pip3 install --user tornado psutil xgboost cloudpickle
  

测试

这里我们用 Google Test 来进行测试，首先先安装 GTest（不要和 tvm 装在一起，建议另找一个目录）：

git clone https://github.com/google/googletest
cd googletest
mkdir build
cd build
cmake -DBUILD_SHARED_LIBS=ON ..
make
sudo make install

安装完成后，在 tvm 安装目录下执行测试：

./tests/scripts/task_cpp_unittest.sh

顺利完成无报错的话，即告 tvm 安装完成。

Ref：

https://tvm.apache.org/docs/install/from_source.html#developers-get-source-from-github