![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP学习
文章平均质量分 84
zkhll
这个作者很懒,什么都没留下…
展开
-
DeepSpeed-Chat训练实践
本次尝试使用开源数据进行deepspeed的三段式训练,因离线运行,所以修改了很多数据位置、模型位置等信息,如果能自动下载相关数据,一键式部署还是比较方便的。本篇博文参考了一键式RLHF训练 DeepSpeed Chat(二):实践篇,写的很详细,但在自己运行中也出现了一些不太一样的情况,均进行了记录。原创 2023-07-24 09:24:24 · 384 阅读 · 0 评论 -
TensorRT安装及使用--通用模型
TensorRT是Nvidia为了加速基于自家GPU训练模型的推理而设计的,当我们将模型训练好后,TensorRT可以直接对模型进行网络层的一一对应,从而加速比较大模型的推理部署。最近使用TensorRT加速了一些模型,我将用两篇文章对使用过程和其中遇到的坑进行记录说明。本篇文章将对通用模型的TensorRT转换进行一个记录,对transformer类模型的转换我们将在下一篇文章进行记录。本文记录的安装基于TensorRT6.0。1、 TensorRT的安装1.1 官网下载安装包...原创 2021-09-21 21:38:13 · 1585 阅读 · 1 评论