安霸CVFlow推理开发笔记

一、安霸环境搭建：

1.远程172.20.62.13

2. 打开Virtualbox，所在目录：E:\Program Files\Oracle\VirtualBox

3. 配置好ubuntu18.04环境，Ubuntu密码：amba

4. 安装toolchain，解压Ambarella_Toolchain_CNNGen_2.3.0_20210205(注意要用最新版本)

5．进入Ubuntu-18.04安装包里，运行以下脚本ubuntuToolChain-2.3.0,提前配置好pip源

6. 默认路径为/usr/local，安装parser时按照需求选择，onnxparser caffeparser以及tensorflowparser

7.安装完成后，查看/usr/local/目录下新增amba toolchain

8.搭配环境，运行source搭配开发环境

9. 尝试shell自动补全，查看gen_image_list.py,layer_compare.py,onnxparser.py程序是否存在。存在则安装成功，反之失败。

二．安霸模型转换流程：

1. 冻结和输出CNN网络模型的框架和权重
2. 通过Python parser 运行模型，通过使用AmbaCNN API 来修建CNNGen中的节点图
3. CNNGen将节点图扩展乘原始图并且进行量化和减少计算量
4. VAS将原始图扩展乘算子图(DAG)并进行低等级优化和DAG分离
5. 在ADES上运行VAS生成DAGs验证结果和准确性
6. 用cavalry_gen脚本生成最终执行的二进制文件并用Ambaralla接口运行在CV2X板子上

三．模型转换工具使用：

1. 将图片数据转换成bin format

gen_image_list.py
         -f test_image/                                           //图片所在目录
         -o img_dara_list.txt                                     //输入的图片列表
         -ns                                                                     //禁用随机选择
         -e data                                                           //图片格式，新增data格式
         -c 1                                                                    //图片格式 1为BGR
        -d 0,0                                                               //转换格式undesigned fix8 1,2,07为float32
         -r 96 96                                                           //图像尺寸
         -bf dra_bin/                                                   //输出目录
         -bo dra_bin_list.txt                                       //输出文件列表

2. onnx模型转换

onnxparser.py
         -m ./face_align_float_20210301.onnx                             //模型的ONNX文件,包含纯模型
         -isrc                        
“is:1,3,96,96|iq|idf:0,0,0,0 |i:data=./dra_bin_list.txt”        //多参数输入
       -o face_align_amba                                                                //输出文件名
       -of ./module                                                                             //输出文件目录
       -c act-force-fx8,coeff-force-fx8                  //第一个代表输出是8bit,第二个表示权重为8bit 高效: act-force-fx8,coeff-force-fx8 高准确率 act-force-fx16,coeff-force-fx16，模型权重参数不支持float
       -odst “o:output|odf:fp32”                                                   //模型输出由”output”转fp32

3.编译VAS代码

cd module
vas –auto –summary –show-progress –dvi face_align_amba.vas //生成vas文件

4. layer_compare比较一致性

layer_compare.py onnx
–m ./face_align_float_20210301.onnx  //onnx文件目录
–isrc “is:1,3,96,96|iq|idf:0,0,0,0|i:data=./dra_image_bin/dra_bin_list.txt” //同onnxparser参数
–c act-force=fx16,coeff-force-fx16 //同onnxparser参数
–odst “o:output|odf:fp32” //同onnxparser参数
-n face_align_amba //vas文件名
-v module  //vas文件目录，一定要精确到vas_output目录
-o ./lc     //生成的结果比较文件.xsl

5.为了生成ADES command，为了在PC上模拟运行

ades_autogen.py
–v face_align_amba //vas文件名
–p ./                           //vas文件所在目录
-l ades_module   //输出文件目录
–ib data=/media/sf_Amba/data_bin/image_align_00001.bin //data:模型input层名称
-ob output=./out.bin  // output：模型输出层名称，out.bin输出文件名，以二进制文件存储

6.模拟运行.cmd

cd ades_moudle
ades face_align_amba_ades.cmd //执行程序，得到结果

7.编译CV code，生成可以在CV2x上运行的程序，生成模型文件face_align.bin

cavalry_gen
–d ./vas_output //目录精确到vas_output
–f face_align.bin //输出模型文件名
–p ./                   //输出模型文件目录
-V 2.1.7            //版本，要与板子上的版本一致

快速执行脚本sample里有quick_start.sh脚本，一个脚本完成上述所有操作，参考CNNGen_Development_Flow 7.2章节

./quick_start.sh
–f onnx                                        //模型转换方式,支持onnx caffe和trensorflow
–d /media/image_data/         //gen_image_list的图片文件目录
-m ./face_align_float_20210301.onnx  //onnx文件

四．Amba嵌入式运行

研发网访问【Amba-cv25开发板】和【广汽8155车机】方法：
1. 使用【mstsc】远程登录【Windows host主机 192.168.122.29】，【账户密码 都是自己的域账户】，允许多个账户同时登陆 各自用各位各自的域账户+密码登录就好：
admin/kuihu2/peihuang/ycjiang/ylxiang2
2. 打开xshell6，admin密码没有，直接回车。 amba的开发版的串口是com5 频率是115200，留意不要选错登到广汽的8155车机上 广汽8155车机的串口操作失误 比如敲一个exit就蓝屏了，留意不要串口登到广汽8155上面去
3. 但串口操作有一个问题就是：我用的时候你是用不了的。换句话说：如果黄培已经通过串口登录amba开发版了，那其他人就用不了，除非黄培主动断开连接。如果发现串口连接不上，大概率是别人在用，可以用别人的账号登一下 看谁在用，总共就这几个账号。

1.将amba挂在到windows上

umount /dev/mmcblk0p8
insmod /lib/modules/4.14.183/kernel/drivers/usb/gadget/udc/ambarella_udc.ko
insmod /lib/modules/$(uname -r)/kernel/drivers/usb/gadget/libcomposite.ko
insmod /lib/modules/$(uname -r)/kernel/drivers/usb/gadget/function/usb_f_mass_storage.ko
modprobe g_mass_storage removable=y stall=0 file=/dev/mmcblk0p8

2. 放入模型和数据，然后接触挂载 

modprobe -r g_mass_storage
mkdir /mnt/p8
mount /dev/mmcblk0p8 /mnt/p8

3.配置运行环境

modprobe cavalry
cavalry_load –f /lib/fireware/cavalry.bin -r

4.运行程序

test_nnctrl –b model.bin
--in <input_0_layer_name>=<input_0_bin>
--in <input_1_layer_name>=<input_1_bin>
--out <output_0_layer_name>=< output _0_bin>
--out < output _1_layer_name>=< output _1_bin>
-v  //打印debug信息
-e  //打印vp_time

五、踩坑记录：

1.Onnx版本错误，onnx要是6.0。用python3 import onnx print(onnx.__version__)queren

2.toolchain安装时，安装使用如下脚本ubuntuToolChain，不要用installToolChainONLY，同时提前配置好pip源

3.像素值(R,G,B) –平均值(RGB) / 方差值(R,G,B) 归一化操作要放到onnxpraser里面操作，否则会严重影响准确性

4.一致性结果不同层对不上关系不大，主要看最终输出是否能保持较小误差

5.模型仿真输出和amba板子上运行输出结果有些出入，因为硬件上需要32位对齐，读取的时候需要注意