NLP自然语言处理
文章平均质量分 96
文本匹配、文本分类、NER、对话系统、机器翻译、文本生成、自动摘要、知识图谱、文本纠错
colourmind
本硕毕业于华中科技大学物流系统工程,毕业后在广州玄武无线科技有限公司从事JAVA开发。一年后离职,寻求转行;经过一年自学后成功转行;现在武汉科大讯飞____科讯嘉联___技术运营部,担任NLP算法工程师。
展开
-
大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型的推理速度对比
这篇博客就专门对语言大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型上的推理速度和效果进行一个对比。主要的内容分为三块,第一块简单介绍一下vllm和TensorRT-llM框架的特色和基本技术点,由于篇幅的原因关于技术的原理就不做多的介绍(每个技术点都可以拧出来写一篇文章,工作量非常大);第二块内容就是介绍一下环境安装和重要的API,并且提供一个web推理服务;最后一块内容就是展示一下具体的推理案例,在推理速度和推理质量上进行对比原创 2024-04-24 00:30:00 · 1741 阅读 · 0 评论 -
基于torch.compile和gptfast代码风格实现ChatGLM模型推理加速
torch2.0发布以后模型训练和推理可以实现一行代码加速,试用之后发现效果并不明显。随后gptfast项目也发布,表明它确实是可以实现模型推理的加速,看来之前试用是打开方式不对。最近参考gptfast项目,实现了对ChatGLM模型推理的加速,主要的原理是借助torch.compile对模型推理过程中构建计算图,实现加速。原创 2024-03-20 23:00:00 · 1045 阅读 · 0 评论