大规模语言模型
文章平均质量分 81
AI让世界更懂你
计算机科学与技术专业博士,主要研究方向为人工智能、自然语言处理、大规模语言模型和对话系统等。曾与微软小冰、微软小娜共同工作。兴趣广泛,包括并不限于人工智能,心理学,认知科学,语言学,数学,天文学等。让我们一起和AI,改进世界!
展开
-
一文掌握大模型数据准备、模型微调、部署使用全流程
如果想自定义整个webui的名字、登录进来的用户角色等等,则需要对docker的镜像进行一定的修改,这里由于篇幅有限,我们下次有机会再细讲。原创 2024-04-27 22:52:25 · 572 阅读 · 0 评论 -
使用vllm部署自己的大模型
使用vllm能够部署一个非常方便使用的大模型的后端,供webui前端使用,它不仅能够加速模型的推理过程,包括支持fast-attn库,而且还具有很友好的openai风格的api调用功能。原创 2024-04-26 17:38:58 · 303 阅读 · 0 评论 -
部署一个自己的GPT客户端[以ChatGPT-Next-Web为例]
当我们有一个openai的key又想通过客户端进行访问对话功能的时候,chatGPT-next-web是一个选项(仅限是一个选项,也有更好的方案)。原创 2024-04-26 17:03:02 · 400 阅读 · 1 评论 -
使用FastChat部署Baichuan2
近来,大型语言模型的市场需求呈现出蓬勃发展的态势。然而,仅仅掌握模型的数据准备和训练是不够的,模型的部署方法也变得至关重要。在这篇文章中,我们将以Baichuan2为例,利用FastChat进行模型部署的实战操作。原创 2023-09-24 15:13:58 · 1496 阅读 · 0 评论