最近将一个带有空洞卷积的pytorch模型转为tensorrt加速,在转换过程中,
出现pytorch->onnx->tensorrt,pytorch->tensorrt两种方式均能完成转换,
但是转换后的模型输出结果不对,跟pytorch模型输出结果差别很大。
tensorrt 空洞卷积层后面接个ElementWise层,ElementWise层输出结果跟pytorch模型中卷积层的求和结果是不一样的。
模型结构:
block{
conv1=conv(input,kernel=1,stride=1,padding=0,dilation=1)
relu1=relu(conv1)
conv2=conv(relu1,kernel=3,stride=1,padding=1,dilation=1)
relu2 = relu(conv1)
conv3 = conv(relu2 ,kernel=3,stride=1,padding=2,dilation=2)
relu3 = relu(conv3)
ew = relu3+relu1}
block1 = block(input)
block2= block(block1)
在转换成tensorrt模型时ew的结果跟pytorch模型是不一样的,不知nvidia内部是怎么处理空洞卷积层同别的正常层的ElementWise操作的。
解决办法是在空洞卷积层同ElementWise层间加一个Identity层
block{
conv1=conv(input,kernel=1,stride=1,padding=0,dilation=1)
relu1=relu(conv1)
conv2=conv(relu1,kernel=3,stride=1,padding=1,dilation=1)
relu2 = relu(conv1)
conv3 = conv(relu2 ,kernel=3,stride=1,padding=2,dilation=2)
relu3 = relu(conv3)
identy = identity(relu3)
ew = identy+relu1}
block1 = block(input)
block2= block(block1)
这样输出结果跟pytorch模型的结果是一致的。
感觉这是很大一个坑,输入结果是对的,权重也是对的结果就是不对,让人抓狂啊。