大模型部署实战
文章平均质量分 89
欢迎来到《大语言模型部署实战》专栏。在这里,我们将深入探讨人工智能语言模型的部署、维护和优化。从初步理解模型构建,到精细化运营,再到高效的模型优化,我们都将一一剖析。不论你是AI领域的新手,还是寻求进阶的专业人士,这个专栏都将为你提供实用、前沿的信息和指导。加入我们,一起探索AI语言模型的强大力量。
Chaos_Wang_
这个作者很懒,什么都没留下…
展开
-
大模型部署实战(四)——ChatGLM2-6B
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2-6B 引入了如下新特性:更强大的性能、更长的上下文、更高效的推理、更开放的协议。原创 2023-06-25 21:15:47 · 831 阅读 · 0 评论 -
大模型部署实战(三)——ChatGLM-6B
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。本原创 2023-06-13 22:02:41 · 634 阅读 · 0 评论 -
大模型部署实战(一)——Ziya-LLaMA-13B
Ziya-LLaMA-13B是IDEA基于LLaMa的130亿参数的大规模预训练模型,具备翻译,编程,文本分类,信息抽取,摘要,文案生成,常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。本文主要用于Ziya-LLaMA-13B的本地部署。原创 2023-06-09 15:59:06 · 5049 阅读 · 1 评论 -
大模型部署实战(二)——Ziya-BLIP2-14B-Visual
Ziya-Visual多模态大模型基于姜子牙通用大模型V1训练,具有视觉问答和对话能力。今年3月份OpenAI发布具有识图能力的多模态大模型GPT-4,遗憾的是,时至今日绝大部分用户也都还没有拿到GPT-4输入图片的权限,Ziya-Visual参考了Mini-GPT4、LLaVA等优秀的开源实现,补齐了Ziya的识图能力,使中文用户群体可以体验到结合视觉和语言两大模态的大模型的卓越能力。本文主要用于Ziya-LLaMA-13B的本地部署。原创 2023-06-12 21:36:11 · 1870 阅读 · 0 评论