TensorRT5.1入门 sampleSSD

1.PPM格式图像

知识来源:PPM文件格式详解(侵删,用作学习积累)
　　PPM(Portable Pixmap Format)是源自PBM(位图bitmap,仅有黑与白,没有灰)和PGM(grayscale map,灰度图),PPM是通过RGB三种颜色显现的图像(pixmaps).
　　这三种图,无论哪种图像文件都是通过2个字节[magic number]来表明文件格式的类型以及编码方式(ASCII或者Binary),magic number分别为P1,P2,P3,P4,P5,P6.

Magic Number	Type	Encoding
P1	Bitmap	ASCII
P2	Graymap	ASCII
P3	Pixmap	ASCII
P4	Bitmap	Binary
P5	Graymap	Binary
P6	Pixmap	Binary

PPM格式：
PPM图像格式分为两部分，分别为头部分和图像数据部分。
头部分：由3部分组成，通过换行或空格进行分割，一般PPM的标准是空格。
第1部分：P3或P6，指明PPM的编码格式，
第2部分：图像的宽度和高度，通过ASCII表示
第3部分：最大像素值，0-255字节表示。

2.执行过程中的问题:[E] [TRT] mbox_conf: all concat input tensors must have the same dimensions except on the concatenation axis

在没有看官方教程之前,自己对SSD尝试的做demo,输出以下错误.

[E] [TRT] mbox_conf: all concat input tensors must have the same dimensions except on the concatenation axis.

提示进行concat的数据的dimensions不同,无法做concat,当时为了尽快跑出demo,就直接没有思考为什么就看了教程,如下图所示.

　　观察第二步骤,让我将所有的Flatten参数格式改为reshape_param格式. 我按照教程所写,逐步更改flatten_param改成reshape_param的形式, 在我所用的sampleSSD网络中,就是12个Flatten层的更改.
　　后来发现,执行仍然报错,仍然提示我concat输入的tensor的dims必须相同,和上面的报错一样.
　　重新检查了一次每个reshape的输出,发现并没有错误.
　　后来才知道,因为没用过caffe,对.prototxt的书写格式并不熟悉,除了修改param之外,type值也要从"Flatten"改为"Reshape",如下图所示,改完之后正常运行.在这里做一个记录.(此前查了很多,发现没有这个问题,果真是查不到的问题不是极难就是极白痴,很明显,我就是那个白痴.)

后来想了想,为什么一定要把flatten层改成Reshape层,Flatten作为特殊的Reshape,应该也不会出现dim不同的报错,因为flatten层说到底就是特殊的Reshape层.

但是看了warning,感觉大致的意思就是Flatten层将输入隐式的flatten到fc层,但是其他情况下会造成未定义的情况.

Warning: Flatten layer ignored. TensorRT implicitly flattens input to FullyConnected layers, but in other circumstances this will result in undefined behavior.

我就怀疑是Flatten层根本没有起到自己的作用.
　　于是我将concat层去掉,先后输出了Flatten层和修改之后的Reshape层(为了好找错误我将SSD分成了conf,loc和prior三个单独网络,下图是基于loc网络的,基于6种feature map输出了6个层)
　　如上图所示,在未将flatten层改成reshape层之前,flatten之后的层的输出,就是feature map的原来大小,没有被展平,说明flatten层在这里完全没有起作用.下面是改为Reshape之后.
　　如上图所示,6个输出层输出了应该有的展平之后的结果,比如conv4_3_norm_mbox_loc_flat层,这里显示的输出是23104 * 1 * 1, 是由最初 512 * 38 * 38 的conv4 做卷积成为 16 * 38 * 38 (16=4*4=class_num * 4(这个4代表box的四个用来定位的值)).而38 * 38 * 16恰好等于23104,reshape(展平)之后,恰好是23104 * 1 * 1.
由此看来,Flatten层确实是不起作用的,所以才导致最上面的报错,于是我就去查了官方文档.在TensorRT5.x的文档上没有找到确切的Flatten的信息,但是在TensorRT4.0的开发者文档中,有这么一个部分介绍Flatten.

　　好了,这下明白了,Flatten只能用在FC层前面,结合Warning,可能Flatten接在Permute之后的Conv后面就会不起作用,但是具体为啥,我也还在查相关的资料,这个错误困扰了我两天,现在解决了,记录一下.