NVidia TensorRT 运行 Caffe 模型

前面的话NVidia发布了TensorRT,支持fp16,可以在TX1和Pascal架构的显卡,如gtx1080上运行半精度。官方说法是TensorRT对inference的加速很明显,往往可以有一倍的性能提升。而且还支持使用caffe的模型。 但不足的是还不支持自定义层,只有常用的一些层可以选...

2016-11-21 12:07:59

阅读数:3525

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭