rknn-toolkit环境搭建

一、rknn-toolkit是什么

最近在评估rk1808运算性能，使用rk1808 npu必须将模型转化rockchip自己的模型rknn模型文件，rknn-toolkit是rockchip官方提供的工具包。工具包的主要用途如下：

RKNN-Toolkit开发套件提供了模型转换、推理运行和性能评估等几大功能，其还为我们提供了python调用的例程。

我们可以通过rknn-toolkit通过提供的 python 接口可以便捷地完成以下功能：

1）模型转换：rknn-toolkit支持 Caffe、Tensorflow、TensorFlow Lite、ONNX、Darknet 模型，支持RKNN 模型导入导出，能够在rockchip硬件平台上加载使用，充分发挥npu的加速。

2）模型推理：能够在我们 PC 上模拟加载模型并获取推理结果，也可以在特定硬件平台RK3399Pro/RK1808 的硬件（默认提供的是Linux环境）上运行模型并获取推理结果。

3）性能评估：能够为我们提供模型运算性能的评估，通过在 PC 上模拟运行并获取模型总耗时及每一层的耗时信息，或者通过联机调试（adb）的方式在指定硬件平台 RK3399Pro/RK1808 的硬件上运行模型，并获取模型在硬件上运行时的总时间和每一层的耗时信息，来得出模型的性能等状态。

二、环境搭建

安装rknn-toolkit有两种方式：手动安装和pip自动安装。

1.手动安装

1.1 基础库的安装：python3，pip3 libglib2.0-dev  libsm-dev libxrender-dev libxext-dev（注意pip的版本，unbuntu 16.04默认的版本太低，不升级会有一大堆的异常）

sudo apt-get install -y python3 python3-pip libglib2.0-dev \ libsm-dev libxrender-dev libxext-dev

1.2 rknn-toolkit 库下载（ rknn-toolkit 1.6版本） 

Baidu Cloud: https://eyun.baidu.com/s/3eTG3VsY   (pwd：rknn)
Onedrive：https://rockchips-my.sharepoint.com/:f:/g/personal/addy_ke_rockchips_onmicrosoft_com/EkQBzgZ6fmJFlZRLf6AjL_0BcEn9uGzNVovRkKxWEboA8g?e=J5rjYS
Github: https://github.com/rockchip-linux/rknn-toolkit

1.3 安装RKNN Toolkit（不同版本rknn-toolkit目录名不同）

cd rknn-toolkit
pip3 install --user -r rknn-toolkit/packages/requirements-cpu.txt
# rknn-toolkit的版本可能不一样，请选择对应的文件进行安装
pip3 install --user rknn-toolkit/packages/rknn_toolkit-1.3.0-cp35-cp35m-linux_x86_64.whl

（PS:如果PC中有GPU加速则用requirements-gpu.txt替换requirements-cpu.txt。）

2.自动安装

2.1配置pip

新建pip.conf文件（注意：先升级pip的版本到最新版本，不然会有很大问题）

sudo vim /etc/pip.conf

在pipconf文件中添加如下内容

[global]

extra-index-url = http://repo.rock-chips.com/pypi/simple

trusted-host = repo.rock-chips.com

（ps：如果出现pip版本问题，可以参考我的另一篇文章：https://blog.csdn.net/hanpengyu/article/details/113257105）

2.2安装基础库

sudo apt install cmake python3-scipy python3-h5py libprotobuf-dev protobuf-compiler zlib1g-dev libjpeg-dev python3-dev python3-opencv

2.3安装rknn-toolkit

pip3 install --user -U rknn-toolkit

如果使用pc棒的安装rknn-toolkit-lite

pip3 install --user -U rknn-toolkit-lite

2.4安装平台相关

RK3399Pro ：

pip3 install --user -U rknn-toolkit

RK3399Pro OR RK1808 (PC棒):

pip3 install --user -U rknn-toolkit-lite

2.5安装在rknn-toolkit api

下载地址如下：

GitHub：
* for 1808: https://github.com/rockchip-linux/rknpu
* for other platforms: https://github.com/rockchip-linux/RKNPUTools

Baidu Cloud: https://eyun.baidu.com/s/3kXoPFuf    (pwd: uMuA)
Onedrive: https://rockchips-my.sharepoint. ... f1OJODES1g?e=ZSjbAo


rk3399pro:

sudo apt install rknn-rk3399pro

(or)

sudo dnf install rknn-rk3399pro

rk1808 computer stric:

sudo apt install rknn-rk1808

(or)

sudo dnf install rknn-rk1808

更新api

sudo apt update -y

3.安装tensorflow的库

注意：rknn模型应该是基于tensorflow的，如果不装，调用时会出错，出错截图如下：（本例子是onnx模型转化为rknn）

python3 run_rknn.py
Traceback (most recent call last):
  File "run_rknn.py", line 74, in <module>
    rknn = RKNN()
  File "/home/roc/.local/lib/python3.5/site-packages/rknn/api/rknn.py", line 47, in __init__
    self.config()
  File "/home/roc/.local/lib/python3.5/site-packages/rknn/api/rknn.py", line 676, in config
    return self.rknn_base.config(args)
  File "rknn/api/rknn_base.py", line 72, in rknn.api.rknn_base.RKNNBase.config
  File "/home/roc/.local/lib/python3.5/site-packages/rknn/base/acuitylib/__init__.py", line 1, in <module>
    from acuitylib.optimize.optimizer import Optimizer
  File "/home/roc/.local/lib/python3.5/site-packages/rknn/base/acuitylib/__init__.py", line 1, in <module>
    from acuitylib.optimize.optimizer import Optimizer
  File "rknn/base/acuitylib/optimize/optimizer.py", line 14, in init rknn.base.acuitylib.optimize.optimizer
  File "rknn/base/acuitylib/optimize/rules/merge_layer.py", line 3, in init rknn.base.acuitylib.optimize.rules.merge_layer
  File "/home/roc/.local/lib/python3.5/site-packages/rknn/base/acuitylib/layer/__init__.py", line 2, in <module>
    from acuitylib.layer.add import *
  File "rknn/base/acuitylib/layer/add.py", line 1, in init rknn.base.acuitylib.layer.add
  File "rknn/base/acuitylib/layer/acuitylayer.py", line 3, in init rknn.base.acuitylib.layer.acuitylayer
  File "rknn/base/acuitylib/xtf.py", line 1, in init rknn.base.acuitylib.xtf
ImportError: No module named 'tensorflow'

pip安装

pip3 install --user -U tensorflow==1.14.0