LLM
文章平均质量分 81
AI让世界更懂你
计算机科学与技术专业博士,主要研究方向为人工智能、自然语言处理、大规模语言模型和对话系统等。曾与微软小冰、微软小娜共同工作。兴趣广泛,包括并不限于人工智能,心理学,认知科学,语言学,数学,天文学等。让我们一起和AI,改进世界!
展开
-
ACL 2024 Accepted Paper 浅浅分析
以上只是进行了粗略的统计,在程序运行中难免有所疏漏,因此仅供参考。另外,作者统计时也有可能存在同名的情况重复统计,这里也并未作区分。那么,我们1个月后,泰国曼谷见!原创 2024-07-11 11:12:37 · 1471 阅读 · 1 评论 -
[超拟人语音合成] 科大讯飞API的Python实现
最近大模型开始漫延到了语音通话的领域了。我每天晚上回家的路上都会用手机和ChatGPT语音对话聊天,这不仅能够放松心情,而且还能够练习英语口语。很早的时候ChatGPT就释放了ASR和TTS的接口,试用了一下,英语能力还不错。”API,合成的语音不仅可以自然的发声,而且还经过了文本模型的润色,使得其更加口语化表达。于是,我和ChatGPT联手,又编写了如下的Python代码供大家使用。下面是完整的代码,直接复制粘贴就可以使用。但是想要中文的话,我个人还是建议使用科大讯飞的这个“关于其中的参数,可以参见《原创 2024-05-14 00:25:39 · 693 阅读 · 1 评论 -
【直观对比】RTX3090和RTX4090的计算能力的参数对比
随着大模型的火热,越来越多的人希望可以购买一个硬件进行大模型的推理,特别是在3090和4090显卡的对比上,需求比较大。目前已有的显卡对比,大多面向于和,如图所示。但是,对于消费级的显卡的计算能力的参数对比还比较少,更多的是对比游戏或者跑分的。由于工作需要,特地辗转了多方网站,整理了3090和4090的性能参数对比图,附带A100的参数用于衔接。从表中可以看出,在目前最常用的FP16上,4090和A100是一样的。也就是说,如果只是部署一个7B的模型,并且开了FP16,那么两者的推理速度应该是大致相同的。原创 2024-05-11 15:24:16 · 7991 阅读 · 0 评论 -
再议大模型微调之Zero策略
说到Deepspeed和Zero,相信大家对着一幅图一点都不陌生,被各个帖子广为传颂,用于介绍Zero-1/2/3之间的不同,非常形象直观,如果还想深入了解,参见《deepspeed官方介绍》(看一下,2021年Deepspeed就有这工具了,现在反而成了训练大模型的流行工具)。原创 2024-05-07 21:00:19 · 1138 阅读 · 0 评论 -
一文掌握大模型数据准备、模型微调、部署使用全流程
距离ChatGPT已经发布1年半了,距离我们训练出自己的大模型也已经1周年了。目前仍然有很多同学在咨询如何训练自己的大模型。这个东西和男/女朋友一样。当你不认识TA,距离TA很远,不敢接触TA的时候,TA就是很神秘,也很难接触。但是一旦当你愈发了解TA的时候,你就知道其实上手也很容易。之前我已经撰写了一个简单的训练大模型的代码,用于阐述大模型训练其实和原来的训练没什么两样。但是随着大模型深入到了每一个研究者的原创 2024-04-27 22:52:25 · 11466 阅读 · 0 评论 -
使用vllm部署自己的大模型
使用vllm能够部署一个非常方便使用的大模型的后端,供webui前端使用,它不仅能够加速模型的推理过程,包括支持fast-attn库,而且还具有很友好的openai风格的api调用功能。原创 2024-04-26 17:38:58 · 5754 阅读 · 0 评论 -
部署一个自己的GPT客户端[以ChatGPT-Next-Web为例]
当我们有一个openai的key又想通过客户端进行访问对话功能的时候,chatGPT-next-web是一个选项(仅限是一个选项,也有更好的方案)。原创 2024-04-26 17:03:02 · 1594 阅读 · 1 评论 -
在 Slurm 上运行 Jupyter
现在的大模型训练越来越深入每个组了,大规模集群系统也应用的愈发广泛。一般的slurm系统提交作业分为2种,一种是srun,这种所见即所得的申请方式一般适用于短期的调试使用,大概一般允许的时间从几个小时到1天左右,很多集群分组都会限制运行时长。而另一种sbatch,则是批量提交作业,当srun调试程序能够成功运行的时候,就可以使用sbatch提交。如何使用slurm可以参考之前写的《》以及《那么有没有一种方式可以以sbatch提交作业,但是又能有srun的交互式体验呢?原创 2024-04-23 13:08:48 · 1226 阅读 · 0 评论 -
大规模语言模型微调技术——Instruction和Question的区别和联系
在ChatGPT的时代,每个人都能够轻松使用这一强大的语言模型。这一切的实现速度比我之前所想象的要快得多。这得益于大规模语言模型微调技术,其实并没有引入太多新颖的元素。特别是有了ChatGPT作为引路人,许多事情变得更加容易和简单。尤其是借助LLaMA开源项目为基础,许多模型都是以LLaMA作为基座模型,并通过微调特定的指令数据集来实现与ChatGPT的对齐。原创 2023-05-18 16:32:24 · 4448 阅读 · 0 评论