一文汇总开源大语言模型，人人都可以拥有自己的ChatGPT

最新推荐文章于 2024-04-29 19:18:04 发布
最新推荐文章于 2024-04-29 19:18:04 发布
阅读量3.2k 收藏 18
点赞数
文章标签： 开源 语言模型 chatgpt 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/perfumekristy/article/details/130186798
版权

前言

OpenAI发布的ChatGPT火爆全球以来，全球互联网大厂陆续跟进，纷纷宣布了自家的Chat产品，如Google的Bard，百度的文心一言，阿里的通义千问等等。

这些Chat产品背后都是依赖的大语言模型(Large Language Model)。

如果是做一个垂直领域的Chat产品，有2种方案：

  • 直接使用商业化产品，前提是商业化产品支持对模型做fine-tune(微调)。比如OpenAI就支持对它的基础模型做fine-tune来实现个性化的模型。
  • 使用开源的大语言模型，对开源模型做fine-tune来实现垂直领域的Chat产品。

本文重点介绍有较大参考价值的开源大语言模型，方便大家快速找到适合自己应用场景的开源模型。

开源大语言模型

Model作者参数量训练数据量(tokens)训练成本
LLaMAMeta包括 70 亿、130 亿、330 亿、650 亿 4 种参数规模1.4万亿2048个A100 GPU
AlpacaStanford70亿52k条问答指令数据，指令数据来源于OpenAI的API返回结果500美元数据成本+100美元训练成本
VicunaUC Berkeley, CMU, Stanford, UCSD and MBZUAI130亿70k条问答指令数据，指令数据来源于用户分享出来的对话记录300美元
KoalaUC Berkeley130亿500k条问答直录功能数据，指令数据来源于网上公开数据集在公共云计算平台上，预期训练成本不超过100美元。一台 Nvidia DGX 服务器与8个A100 GPU，需要6个小时训练完成2个epochs。
Dolly 2.0Databricks120亿15k条问答指令数据，指令数据来源于Databricks员工不到30美元
ChatGLM清华大学KEG 实验室和智谱AI60亿和1300亿共2种参数规模4000亿左右，中文和英文token各2000亿数百万人民币
鹏程·盘古α鹏程实验室、华为26亿、130亿和2000亿共3种参数规模2500亿2048 块昇腾处理器

开源模型有几个注意点：

  • 第一，LLaMA由Meta开源，LLaMA目前仅用于学术、社会公益项目，不能用于商业化项目。

  • 第二，Alpaca, Vicuna, Koala基于LLaMA衍生而来，是在LLaMA大语言模型基础上做了fine-tune得到的，因此训练成本极低，只需用比较少的指令数据做fine-tune即可。这也是为什么这几个模型的训练成本很低，因为站在了LLaMA这个巨人的肩膀上。另外，这几个模型由于本质上还是LLaMA，受限于LLaMA的license限制，同样不能用于商业化目的。

  • Dolly 2.0是在EleutherAI pythia模型衍生而来，指令微调的数据集称为 databricks-dolly-15k，也已开源发布，包含来自数千名 Databricks 员工的 15,000 个高质量的人工生成的问答数据，专为指令调优大型语言模型而设计。且 databricks-dolly-15k 根据（Creative Commons Attribution-ShareAlike 3.0 Unported License）的许可条款，任何人都可以出于任何目的使用、修改或扩展此数据集，包括商业应用。

  • 国内目前开源的主要就是清华主导的ChatGLM，以及华为和鹏程实验室主导的盘古alpha模型。

训练模型

如果拿大语言模型做训练，而不是简单的指令微调，那训练成本非常高昂，比如ChatGPT训练一次的成本在140万美元左右。

最近微软开源了DeepSpeed，可以加速大语言模型的训练，将ChatGPT 1750亿参数模型的训练成本降低到5120美元左右。

其本质是一个开源深度学习训练优化库，可以加速ChatGPT模型的训练，比目前最快的训练方法快大约15倍，如果想自己训练大语言模型的可以参考下。

总结

GPT模型现在真的是日新月异，很多是基于基础模型，结合问答的指令数据对模型做微调而得到的。

现在很多媒体报道的时候喜欢夸大，大家不要看到冒出一个新的开源模型就觉得多么厉害了，绝大部分都是站在巨人肩膀上做了微调而来的。

上面开源大语言模型的表格也会持续更新，欢迎大家关注下面的开源地址。

开源地址

持续更新的开源大语言模型开源地址： ChatGPT模型教程。

公众号：coding进阶。

个人网站：Jincheng’s Blog。

知乎：无忌。

福利

我为大家整理了一份后端开发学习资料礼包，包含编程语言入门到进阶知识(Go、C++、Python)、后端开发技术栈、面试题等。

关注公众号「coding进阶」，发送消息 backend 领取资料礼包，这份资料会不定期更新，加入我觉得有价值的资料。还可以发送消息「进群」，和同行一起交流学习，答疑解惑。

References

  • https://mp.weixin.qq.com/s/7CW4p8RgAF3jYGmgefB_eg
  • https://mp.weixin.qq.com/s/M-ToNk8SABoP2JG0xLUBxQ
coding进阶
关注
  • 0
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
一文讲清楚ChatGPT的坑
05-12
一文讲清楚ChatGPT的坑
5个值得一试的开源大语言模型
略懂……略懂……
05-22 2424
本文为大家整理了5个效果优秀和开源大语言模型，供大家学习研究。
整理开源的中文大语言模型100+个，以规模较小、可私有化部署、训练成本较低的模型为主...
datayx的文章
12-07 5124
向AI转型的程序员都关注了这个号????????????自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源...
chatgpt 谷歌开源免费语言模型、本地部署、离线使用
qq_42576443的博客
03-15 530
chatgpt 谷歌开源免费语言模型、本地部署、离线使用
多模态大语言模型综述来啦！一文带你理清多模态关键技术
10-11
多模态大语言模型综述来啦！一文带你理清多模态关键技术
学习笔记：从零开始了解AI大模型 - 概念篇：一文带你走进大模型世界
09-20
学习笔记：从零开始了解AI大模型 - 概念篇：一文带你走进大模型世界
开源大语言模型完整列表
ejinxian的专栏
05-18 3422
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。这些模型通常拥有数十亿到数万亿个参数，能够处理各种自然语言处理任务，如自然语言生成、文本分类、文本摘要、机器翻译、语音识别等。
一文看全开源大语言模型汇总
中生代技术
05-08 4363
转自分布式实验室01Alpaca/LLaMA（Meta/Stanford）斯坦福 Alpaca：一个遵循指令的 LLaMA 模型。LLaMA 网站：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/Alpaca 网站：https://crfm.stanford.edu/2023/03/13/alpaca.htmlAlpa...
ChatGPT开源系列
qq_38732601的博客
04-07 2771
最难的是工程化（技术方案产品落地的的能力），怎么能更好的把各种技术栈堆叠在一起（可能一个功能背后是多个功能/技术栈的结合），且能够无缝连接（把技术点用产品的交互来实现，让用户用最少的理解/使用成本，完成复杂度较高的任务），最后实现一个很好的效果。毕竟从 GPT1 到 GPT-4，模型各类细节越来越闭源和黑盒，大模型战场的竞争因素决定了 GPT-4 类的第一梯度模型可能会越来越封闭，成为技术门槛。
Vicuna- 一个类 ChatGPT开源 模型
小金的CSDN博客
04-22 3009
Meta 开源 LLaMA（大羊驼）系列模型为起点，研究人员逐渐研发出基于LLaMA的Alpaca（羊驼）、Alpaca-Lora、Luotuo（骆驼）等轻量级类 ChatGPT 模型并开源。google提出了一个新的模型：Vicuna（小羊驼）。该模型基于LLaMA，参数量13B。Vicuna-13B 通过微调 LLaMA 实现了高性能的对话生成。
一文解析ChatGPT原理及技术架构算法
04-19
ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。 这个回答可以是简短的词语，也可以是长篇大论。其中GPT是Generative Pre-trained Transformer（生成型预训练变换模型）的缩写。 通过学习大量现成文本和对话集合（例如Wiki），ChatGPT能够像人类那样即时对话，流畅的回答各种问题。（当然回答速度比人还是慢一些）无论是英文还是其他语言（例如中文、韩语等），从回答历史问题，到写故事，甚至是撰写商业计划书和行业分析，“几乎”无所不能。甚至有程序员贴出了ChatGPT进行程序修改的对话。 ChatGPT和AIGC的联合使用 ChatGPT也可以与其他AIGC模型联合使用，获得更加炫酷实用的功能。 例如上面通过对话生成客厅设计图。这极大加强了AI应用与客户对话的能力，使我们看到了AI大规模落地的曙光。
ChatGPT 剖析：一文看懂GPT，人工智能时代的新宠
04-01
一、什么是ChatGPT ChatGPT 是OpenAI公司开发的一种基于GPT模型的语言模型。GPT模型采用Transformer网络结构，可以生成自然语言文本。ChatGPT以自然流畅的方式与人类进行交互，可以应用于多个领域，例如智能客服、机器翻译、自动文本生成、语音识别等。 ChatGPT 的工作原理是通过对大量文本数据进行训练，学习自然语言的结构和语法规则，从而生成与自然语言相似的文本。ChatGPT能够自适应不同的应用场景和语言环境，无需手动编写规则或指定特定任务。ChatGPT可以大大提高人机交互的效率和质量，为企业和个人带来更多的商业机会。 在智能客服领域，ChatGPT 可以搭建智能客服系统，通过自动回答用户问题，提高客户满意度和企业效率。在内容创作领域，利用ChatGPT生成文章、博客、社交媒体帖子等内容，可以获得更多的流量和收益。在翻译和语音识别领域，ChatGPT也具有广泛的应用前景。 需要注意的是，ChatGPT 仍存在一些限制和局限性。例如，对特定领域的语言不太擅长，需要具备一定的技能和知识来保证生成的内容质量和准确性。此外，ChatGPT生成的内容也可能存在
【chatGPT入门必学】一文搞定chatGPT3.5&chatGPT4
05-06
ChatGPT4.0 发布了， 可以说 ChatGPT 4.0 在 ChatGPT3.5 的基础上做了很大的增强 （目前我们在非官网网站使用的都还是 ChatGPT 3.5，ChatGPT4.0 还没完全开发 API 能力） 今天我们就来看看 ChatGPT 4.0 带来了那些牛逼的功能 一、 ChatGPT 4.0 简介 OpenAI 最新推出的GPT-4 模型，是一个大型多模态模型，能够接受图像和文字输入，并输出文字结果。根据OpenAI官方表示，尽管在许多现实情境下，它比人类的能力还差，但在各种专业和学术测试中，它展现出了与人类相当的表现。 例如，它在模拟的律师考试中得分排名前10％，而GPT-3.5 的得分则排在后10％。OpenAI 花费了6个月的时间，通过其对抗性测试计划和ChatGPT 的教训，来迭代调整GPT-4，从而取得了迄今最好的成果（虽然仍有很大的提升空间），在事实性、可操控性和拒绝超越限制方面表现最佳。 二、ChatGPT 3.5 和 ChatGPT 4.0 区别 ChatGPT-3.5 和 GPT-4.0 都
一文读懂ChatGPT模型原理.docx
04-20
2018年，自然语言处理 NLP 领域也步入了 LLM 时代，谷歌出品的 Bert 模型横空出世，碾压了以往的所有模型，直接在各种NLP的建模任务中取得了最佳的成绩。 Bert做了什么，主要用以下例子做解释。 请各位做一个完形填空： ___________和阿里、腾讯一起并成为中国互联网 BAT 三巨头。 请问上述空格应该填什么？有的人回答“百度”，有的人可能觉得，“字节”也没错。但总不再可能是别的字了。 不论填什么，这里都表明，空格处填什么字，是受到上下文决定和影响的。
总结：一文搞懂chatGPT原理
04-27
目前关于chatGPT的资料过于零散，没有详尽所有知识点、系统概述的文章，因此，笔者作了这篇总结性文章。 训练过程总览 理清演化路径 预训练(pretrain) GPT-3概述 GPT 3模型的理念 GPT-3如何学习 数据集 指令微调 (Instruction Fine-Tuning，IFT) 有监督微调 (Supervised Fine-tuning, SFT) 人类反馈强化学习 (Reinforcement Learning From Human Feedback，RLHF) 其他方法 思维链 (Chain-of-thought，CoT) 与chatGPT类似的工作
一文读懂ChatGPT模型原理-ChatGPT的原理分析.docx
04-23
我赶紧把 OpenAI 以往的 GPT-n 系列论文又翻出来，重新学习一下，认真领会**大规模预训练语言模型（Large Language Model）**的强大之处。 可能很多深度学习相关从业人员的感受和我一样，大家之前对 LLM 的感受依然...
稳扎稳打 部署丝滑 开源即时通讯（IM）项目OpenIM源码部署流程（linux windows mac）
最新发布
OpenIM的博客
04-29 1253
背景OpenIM包含多个关键组件，每个都是系统功能必不可少的一部分。具体来说，MongoDB 用于持久化存储；Redis 用作缓存；Kafka 用于消息队列；Zookeeper 用于服务发现；Minio 用于对象存储。这些组件的众多可能会增加部署的复杂性。此外，系统包含多个微服务模块，这要求有效管理进程的启动、停止和监控。为了简化这一过程，我们放弃了传统脚本，转而采用了 mage 这一跨平台方案，兼容所有主流平台和 CPU 架构。本文将详细介绍整个源码部署过程。OpenIM整体架构。
iOS 创建依赖其他开源库的开源库
sgliquangang的专栏
04-29 878
3）将需要开源的代码添加到Development Pods文件夹中，并使用Example项目测试开源库是否有问题。3）将需要开源的代码添加到Development Pods文件夹中，并使用Example项目测试开源库是否有问题。1） 使用pod命令行创建本地项目和git仓库并回答终端里的四个问题。1）使用pod命令行创建本地项目和git仓库并回答终端里的四个问题。6）验证podspec文件并修改出现的问题。6）验证podspec文件并修改出现的问题。2）编辑podspec文件。2）编辑podspec文件。
大语言模型知识增强技术 知识蒸馏 课题
07-28
知识蒸馏是一种知识增强技术，已经受到越来越多的关注。在大语言模型中，知识蒸馏可以通过将一个大模型（教师模型）的知识传授给一个小模型（学生模型）来提高性能。知识蒸馏的关键问题是如何从教师模型中提取丰富的知识，并将这些知识转移到学生模型的训练中。知识蒸馏系统通常由三个主要部分组成：知识、蒸馏算法和师生架构。\[1\]\[2\] 对于大语言模型的知识蒸馏，有许多挑战需要解决。首先是知识的均等性，即如何确保从教师模型中提取的知识能够平衡地传递给学生模型。其次是蒸馏的类型，不同的蒸馏策略可以选择不同的知识传递方式，例如软标签、相似性约束等。此外，师生体系结构的设计也是一个重要的问题，需要考虑如何构建一个有效的师生模型来实现知识的传递。最后，知识蒸馏的理论基础也是一个研究的重点，研究人员正在探索知识蒸馏的原理和机制。\[2\] 关于知识蒸馏的研究和应用已经有很多论文和技术。如果你对知识蒸馏感兴趣，可以查阅《Knowledge Distillation: A Survey》这篇综述论文，或者参考这个GitHub仓库中的分类论文列表，其中包含了一系列经典的知识蒸馏技术。\[3\] #### 引用[.reference_title] - *1* *2* *3* [万字综述 | 一文读懂知识蒸馏](https://blog.csdn.net/u012347027/article/details/111415197)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值