允中 发自 凹非寺
量子位 报道 | 公众号 QbitAI
GTC 2018大会上正式宣布的英伟达TensorRT 4,现在开放下载了。
就在CVPR 2018大会上,英伟达官方宣布TensorRT 4即日起面向NVIDIA Registered Developer Program的所有成员开放,可在TensorRT产品页面免费下载。
英伟达官方介绍说,TensorRT 4能够加速常见推理应用,如神经机器翻译、推荐系统和语音。
用户还可通过ONNX格式轻松地从常见的深度学习框架(如Caffe 2、Chainer、MxNet、Microsoft Cognitive Toolkit和PyTorch)导入模型。
对比上一代,新特性包括:
借助针对多层感知器(MLP)和递归神经网络(RNN)的新层,吞吐量高达CPU的45倍。
对于TensorRT中使用ONNX解析器导入的ONNX模型,在Tesla V100 GPU上的推理性能相当于仅使用CPU的50倍。
支持面向自动驾驶汽车的AI计算平台NVIDIA DRIVE Xavier。
借助用于在Volta Tensor Core上运行的API,FP16自定义图层可实现3倍的推理加速。
其他功能包括可使用FP16精度执行自定义神经网络层,以及通过NVIDIA DRIVE AI平台支持Xavier SoC。
更详细介绍信息传送:
https://devblogs.nvidia.com/tensorrt-4-accelerates-translation-speech-recommender/
下载地址:
https://devblogs.nvidia.com/tensorrt-4-accelerates-translation-speech-recommender/
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
实习生招聘
量子位正在招募市场运营实习生,策划执行AI明星公司CEO、高管等参与的线上/线下活动,有机会与AI行业大牛直接交流。一份丰富的实习经历等你解锁~
工作地点在北京中关村。简历欢迎投递到quxin@qbitai.com
具体细节,请在量子位公众号(QbitAI)对话界面,回复“实习生”三个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态