从 ELMo 到 ChatGPT：历数 NLP 近 5 年必看大模型

最新推荐文章于 2024-09-13 22:31:07 发布
最新推荐文章于 2024-09-13 22:31:07 发布
阅读量914 收藏 21
点赞数 30
文章标签： chatgpt 自然语言处理 人工智能 AIGC 语言模型 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shanguicsdn111/article/details/140052889
版权

先上 “万恶之源”：Transformer
在这里插入图片描述

按机构分类

AI21 Labs

发布时间模型名称参数量机构相关链接开源
2021-09Jurassic-1 (J1)J1-Jumbo v1 (178B),
J1-Large v1 (7.5B),
J1-Grande v1 (17B)AI21 Labs[论文](https://uploads-
ssl.webflow.com/60fd4503684b466578c0d307/61138924626a6981ee09caf6_jurassic_tech_paper.pdf)
,
官方文档,
[技术报告](https://uploads-
ssl.webflow.com/60fd4503684b466578c0d307/61138924626a6981ee09caf6_jurassic_tech_paper.pdf)
受限

Alibaba

发布时间模型名称参数量机构相关链接开源
2019-08StructBertstructbert.en.large(340M),
structroberta.en.large(355M),
structbert.ch.large(330M)Alibaba Group Inc.
论文,
GitHub
模型

Allen Institute for AI

发布时间模型名称参数量机构相关链接开源
2018-02ELMoSmall(13.6M),
Medium(28.0M),
Original(93.6M)Allen Institute for AI &
University of Washington论文
模型

Amazon

发布时间模型名称参数量机构相关链接开源
2022-03DQ-BART与标准BART相比，参数减少了30倍Cornell University &
AWS AI Labs &
University of Pennsylvania论文

Anthropic

发布时间模型名称参数量机构相关链接开源
2021-12Anthropic-LMAnthropic-LM v4-s3 (52B)Anthropic
论文1,
论文2未开源

BAAI

发布时间模型名称参数量机构相关链接开源
2021-06Wu Dao 2.01.75TBAAI官网
模型

Baidu

发布时间模型名称参数量机构相关链接开源
2019-05ERNIE114MBaiduGitHub,
论文
模型

BigScience

发布时间模型名称参数量机构相关链接开源
2022-05T0pp11BBigScience etc.
论文
模型
2022-07BLOOM176BBigScience论文
模型
2022-11BLOOMZ176BBigScience etc.
论文
模型

Cohere

发布时间模型名称参数量机构相关链接开源
2022-06CohereCohere xlarge v20220609 (52.4B),
Cohere large v20220720 (13.1B) ,
Cohere medium v20220720 (6.1B) ,
Cohere small v20220720 (410M) ,
Cohere xlarge v20221108 (52.4B),
Cohere medium v20221108 (6.1B)Cohere官网受限

DeepMind

发布时间模型名称参数量机构相关链接开源
2021-07AlphaFold21MDeepMind etc.
[论文](https://www.deepmind.com/publications/highly-accurate-protein-structure-
prediction-with-alphafold)
2021-12Gopher280BDeepMind论文,
[官网](https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-
considerations-and-retrieval)未开源
2022-03Chincilla70BDeepMind论文
未开源
2022-03GopherCite280BDeepmind &
University College London论文
2022-04Flamingo80B (largest)Deepmind
论文[flamingo-
mini模型](https://huggingface.co/dhansmair/flamingo-mini)
2022-05Gato1.2BDeepmind
论文
2022-09Sparrow70BDeepmind论文

EleutherAI

发布时间模型名称参数量机构相关链接开源
2021-03GPT-Neo5B,
2.7B (XL)EleutherAI[论文](https://www.semanticscholar.org/paper/GPT-
Neo%3A-Large-Scale-Autoregressive-Language-with-Black-
Gao/7e5008713c404445dd8786753526f1a45b93de12)
模型
2021-06GPT-J6BEleutherAI
博客
模型
2021-12StableDiffusion890MLMU Munich &
Stability.ai &
Eleuther.ai论文
模型
2022-04GPT-NeoX20BEleutherAI
论文
模型

Google

发布时间模型名称参数量机构相关链接开源
2018-10BERTBase = 110M,
Large = 340MGoogle AI Language论文
模型
2019-01Transformer XL151MCarnegie Mellon University &
Google Brain论文
模型
2019-05XLNetBase=117M,
Large=360MGoogle AI Brain Team &
Carnegie Mellon University论文
模型
2019-09ALBERTBase = 12M,
Large = 18M,
XLarge = 60MGoogle Research &
Toyota Technological Institute at Chicago
论文
模型
2019-10T511BGoogle论文
模型
2019-12PegasusBase = 223M,
Large = 568MImperial College London &
Google Research论文
模型
2020-03ELECTRABase = 110M,
Large = 330MGoogle Brain & Stanford University
论文
模型
2020-07BigBird取决于整体架构Google Research
论文
模型
2020-10ViT86M(Base) to 632M (Huge)Google Research
论文
模型
2021-01Switch1TGoogle论文
模型
2021-06Decision Transformers117MGoogle Brain &
UC Berkeley &
Facebook AI Research论文
模型
2021-12GLaM1.2T覆盖64个专业领域，
但只有96B被激活用于推理Google论文,
[官方博客](https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-
with.html)
2022-01LAMDA137BGoogle论文,
[官方博客](https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-
high.html)
2022-04PaLM540BGoogle Research
论文,
[官方博客](https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-
to.html)未开源
2022-05UL220BGoogle Research
论文
模型
2022-06Imagen2BGoogle Research论文,
官网
2022-06Minerva540BGoogle Research
论文,
[官网](https://ai.googleblog.com/2022/06/minerva-solving-quantitative-
reasoning.html)
2022-12Flan-T511BGoogle论文
模型

Huggingface

发布时间模型名称参数量机构相关链接开源
2019-10DistilBERT66MHuggingface论文
模型

iFLYTEK

发布时间模型名称参数量机构相关链接开源
2020-11MacBertMacBERT-large, Chinese(324M),
MacBERT-base, Chinese(102M)iFLYTEK AI Research &
Harbin Institute of Technology论文
模型

Meta (Facebook)

发布时间模型名称参数量机构相关链接开源
2019-07RoBERTa356MFacebook AI &
University of Washington论文
模型
2019-10BART比 BERT 多 10%Facebook AI
论文
模型
2019-10XLM-RoBERTaBase = 270M,
Large = 550MFacebook AI论文
模型
2020-01mBART与BART相同Facebook AI Research
论文
模型
2021-07HTML400MFacebook AI &
University of Washington论文
2022-01CM313B (largest)Facebook AI Research
论文
2022-03SeeKer与基模型相同Facebook AI Research &
ETH Zürich论文,
官网
2022-05OPT175B,
66BMeta AI论文,
[官网](https://ai.facebook.com/blog/democratizing-access-to-large-scale-
language-models-with-opt-175b/)
模型
2022-08BlenderBot3175BMeta AI &
Mila/McGill University论文
blenderbot-3B模型,
模型
2022-11Galatica120BMeta AI
论文
模型

Microsoft

发布时间模型名称参数量机构相关链接开源
2019-03MT-DNN330MMicrosoft Research
论文[模型](https://github.com/namisan/mt-
dnn)
2019-05UniLM340MMicrosoft Research
论文,
GitHub
模型
2019-10DialoGPT1.5BMicrosoft Corporation
论文
模型
2020-02Turing NLG17BMicrosoft[官方博客](https://www.microsoft.com/en-
us/research/blog/turing-nlg-a-17-billion-parameter-language-model-by-
microsoft/)
2021-03Swin Transformer29M-197MMicrosoft Research Asia
GitHub ,
论文
模型

NVidia

发布时间模型名称参数量机构相关链接开源
2019-09Megatron-LM8.3B (GPT-like),
3.9B (BERT-like)NVidia论文,
GitHub
2021-10Megatron Turing NLG530BMicrosoft &
NVIDIA论文,
[官方博客](https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-
megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-
powerful-generative-language-model/)未开源
2022-06Global Context ViT90MNVidia
论文

OpenAI

发布时间模型名称参数量机构相关链接开源
2018-06GPT117MOpenAI[论文](https://s3-us-west-2.amazonaws.com/openai-
assets/research-covers/language-
unsupervised/language_understanding_paper.pdf)
模型
2019-02GPT-21.5BOpenAI[论文](https://d4mucfpksywv.cloudfront.net/better-
language-models/language_models_are_unsupervised_multitask_learners.pdf)
模型
2020-05GPT-3GPT-3 davinci v1 (175B),
GPT-3 curie v1 (6.7B),
GPT-3 babbage v1 (1.3B),
GPT-3 ada v1 (350M)OpenAI论文,
GitHub受限
2021-01DALL-E12BOpenAI论文,
官方博客,
Demo
2021-02CLIP未知OpenAI论文,
GitHub
模型
2021-07CodexCodex davinci v2 (Unknow),
Codex davinci v1 (Unknow),
Codex cushman v1 (Unknow)OpenAI论文
受限
2021-12GLIDE12BOpenAI论文,
Demo
2022-01InstructGPTInstructGPT davinci v2 (175B*),
InstructGPT davinci v1 (175B*),
InstructGPT curie v1 (6.7B*),
InstructGPT babbage v1 (1.3B*),
InstructGPT ada v1 (350M*)OpenAI
论文,
官网受限
2022-04DALL-E-23.5BOpenAI论文,
官网
2022-10GPT-3.5175BOpenAI[官网](https://platform.openai.com/docs/model-
index-for-researchers)未开源
2022-10ChatGPT与 GPT3 相同OpenAI官网
未开源

Salesforce

发布时间模型名称参数量机构相关链接开源
2019-09CTRL1.63BSalesforce Research
论文
模型

Tsinghua University

发布时间模型名称参数量机构相关链接开源
2020-10GLM130BTsinghua University &
Zhipu.AI论文,
Demo
10B版模型

UC Berkeley

发布时间模型名称参数量机构相关链接开源
2021-06Trajectory Transformers比 GPT 更小的架构UC Berkeley
论文
模型

Yandex

发布时间模型名称参数量机构相关链接开源
2022-06YaLM100BYandexGitHub,
[博客](https://medium.com/yandex/yandex-publishes-yalm-100b-its-the-largest-gpt-
like-neural-network-in-open-source-d1df53d0e9a6)
模型

持续更新中 …

由于涉及到的模型较多，文中可能存在纰漏，还望指正，谢谢！

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

程序员鬼鬼
关注
ChatGPT的一小步，NLP范式转变的一大步
OneFlow深度学习框架
12-30 7882
在此前《ChatGPT进化的秘密》一文中，本文作者剖析了ChatGPT的技术路线图。而在ChatGPT发布前，作者详细介绍了大模型的突现能力、以及它在NLP/ML任务中的潜在优势，以此来探讨大模型所带来的“潜在的”范式转变。显然，后来ChatGPT所展现出的强大能力，将这种转变的步伐扎实地推进了一大步。
NLP与ChatGPT的碰撞：大模型和小模型联合发力
weixin_63866037的博客
04-15 6966
ChatGPT真的太火了！作为NLP的终结者，ChatGPT又会与NLP发生怎么样的碰撞？大模型可以替代小模型吗？NLP又将何去何从？今天给大家推荐一本好书：《基于NLP的内容理解》！
斯坦福等学者对ChatGPT做了在NLP几乎所有任务上的优劣势分析
zenRRan的博客
02-16 3790
进NLP群—>加入NLP交流群一句话总结在NLP的7个代表性任务中的20个流行数据集上系统性的分析ChatGPT的zero-shot学习能力，最终得出ChatGPT在许多有利于推理能力的任务上表现良好（例如，算术推理），而在解决序列标注等特定任务时仍然有待提高。论文：IS CHATGPT A GENERAL-PURPOSE NATURAL LANGUAGE PROCESSING TASK S...
ChatGPT 中的人类反馈强化学习 (RLHF) 实战，看这篇就够了
community_301的博客
05-29 280
按照上述奖励模型的输入输出描述，构建数据集时应该是人工对 进行打分，但实际上对多个回答进行打分比较困难，得分是连续的，这会降低标注的速度。训练好奖励模型之后，就可以用于下一阶段的 PPO 进行强化学习的调优，奖励模型是 PPO 中的一个子部分，用于 PPO 训练时提供奖励信号。其中，r(x,y) 为 输入到 RM 模型的得分，θ 是 RM 的参数，yw 和 yl 是输入为 x 时，SFT Model 生成的不同回答，其中人工标注时 yw > yl.
ChatGPT 中的人类反馈强化学习 (RLHF) 实战
community_301的博客
05-25 512
在当今数字化的时代，ChatGPT 的火热程度不断升级。ChatGPT 可以处理复杂的语言任务，从而解放人力资源，提高工作效率，减少成本。ChatGPT 的先进技术和广泛应用，使得它成为了当今最炙手可热的人工智能技术之一。无论是企业、学术机构，还是科技爱好者，都对 ChatGPT 的应用前景充满期待。在这样的背景之下，CSDN AI 团队也想对 ChatGPT 进行简单的复现。根据ChatGPT官方博客可知，ChatGPT的训练方法与的训练方法基本一致 (如图1所示)，只是使用的数据集不一样。
ChatGPT 原理与核心技术介绍（自然语言处理NLP的发展与Transformer的概念）
小哈里的博客
06-03 3077
ChatGPT 原理与核心技术介绍（自然语言处理NLP的发展与Transformer的概念）1、定义：ChatGPT与自然语言处理NLP 1.1 图灵测试 1.2 建模形式（多轮历史对话原理） 1.3 NLP 的发展历程（规则->统计->强化学习） 1.4 NLP 技术的发展脉络 1.5 ChatGPT 的神经网络结构 Transformer 总结
ChatGPT——NLP大结局？大错特错！NLP还有很多事情可以搞
zenRRan的博客
01-09 764
2022年12月，全球科技圈最瞩目的明星莫过于ChatGPT。这一款来自Open.AI的“聊天机器人”，基本上你可以与它讨论任何话题，不管是简单的问路，还是深刻的哲学探讨，甚至是凭空生成一段代码，它几乎有求必应。用一句时髦的话讲，“自然语言处理大结局了”。从技术角度讲，ChatGPT是基于大规模预训练语言模型（GPT-3.5），借助其强大的语言理解和生成能力，通过在人工标注和反馈的大规模数据上进行...
ChatGPT 未来五年会对 NLP 从业者带来怎样的冲击？—分享七月在线nlp高级
m0_75261490的博客
02-10 407
ChatGPT 印证了模型大一统的可行性，这在未来五年会对 NLP 从业者带来怎样的冲击？ 分享一个好课资料nlp 等 获取地址 链接: https://pan.baidu.com/s/1oRdPta-yR7h44NKz5BIXag 提取码: aa11 --百度网盘 ChatGPT这种Instruct based方法，能取得如此惊艳的效果，是出乎很多人意料的，当然，我个人认为它能力的强大，主要还要归因到背后依托的GPT 3.5太强了，这体现了模型规模的魔力。而这意味着很多目前独立存在的NL
解读：ELMo模型
热门推荐
rosefun96的博客
09-05 1万+
1. 前言 ELMo模型是2018年3月份提出的，模型会根据上下文来推断每个词对应的词向量，能够根据语境来对多义词理解。 2. ELMo模型 双向LSTM语言模型： 如果LSTM有L个输入节点，那么，BiLM会有2L+1和向量。 BiLSTM向量的加权和： 参考： Deep contextualized word representations ...
ChatGPT基本原理详细解说
小相探索IT世界
05-31 1854
ChatGPT（全名：Chat Generative Pre-trained Transformer）是由OpenAI开发的一种预训练语言模型，它基于Transformer架构，通过大量的文本数据进行训练，以生成连贯、自然的对话。ChatGPT不仅能够理解用户的问题，还能生成合适的回答，甚至在多轮对话中保持上下文的连贯性。3分钟视频看懂什么是ChatGPT。
ChatGPT火了，将给网络安全行业带来什么影响？
dzqxwzoe的博客
03-08 6132
ChatGPT对于网络攻击的总体数量会造成一些影响，但由于ChatGPT在进行原创类的工作上目前仍无法赶超人类，故短期内仍不会因为ChatGPT的出现，产生现有安全防护措施无法处理的安全攻击。然而，自身引入的安全合规风险与社会影响需要被慎重地进行核查，才能保证该技术真正地推动社会进步。尤其是对于ChatGPT自身存在的政治偏见问题和滥用ChatGPT导致的消极社会影响，都应当结合具体技术手段，进行针对性的管理与控制。另一方面，ChatGPT对于网络安全行业的进步具有比较明显的推进作用。
掌握ChatGPT：高效利用AI助手
qq_22717943的博客
09-13 1367
2023 年 3 月 15 日，ChatGPT-4 的诞生标志着人类进入了一个全新的。这个时代就像一个混沌初开的新世界，而 ChatGPT 则是这个新世界里诞生的一个新物种。这个新物种的心智如同一个四五岁的小孩，在与它频繁互动中，人们逐渐发现它既让人惊奇，又让人困惑。ChatGPT 宛如一个 “天才” 儿童，自幼饱读四书五经，拥有着海量的知识储备。每次与它交流，都能让人发现它身上隐藏着无限的潜能。然而，令人困惑的是，它似乎并不总是能理解 “我” 的意图，与之对话，常常有一种 “鸡同鸭讲” 的感觉。
借助ChatGPT撰写学术论文的10条规则
智能AI让学术科研更容易
09-12 482
在撰写学术论文时，利用ChatGPT等人工智能工具可以显著提高写作效率和质量。以下是结合ChatGPT功能，为构建学术论文提出的10条规则，包括详细的专业说明和格式化的GPT提示词。
如何编写ChatGPT提示词
最新发布
weixin_42132035的博客
09-13 1086
在本篇文章中，我们深入探讨了如何有效地构建 ChatGPT 提示，以便更好地利用这一强大的文本生成 AI 工具。随着生成式人工智能技术的快速发展，掌握这些提示策略对于各行各业的专业人士来说变得愈发重要。无论你是营销人员、内容创作者还是其他领域的从业者，理解并应用这些提示策略将帮助你更高效地生成所需的输出。通过设计清晰、详细的提示，结合项目的具体需求和上下文信息，我们能够引导 ChatGPT 产生更符合预期的结果。有效的提示不仅能够提高生成内容的质量，还能节省时间和精力，使得用户能够专注于更具创造性的工作。
ChatGPT+2：修订初始AI安全性和超级智能假设
拥有自研的知识库，能够根据业务需求定制内容，提供更精准的服务和推荐
09-11 769
有一份新的报告，世界上最强大的开源AI模型：HyperWrite的Reflection 70B，该报告指出，“Reflection 70B已经在包括MMLU和HumanEval在内的多项基准测试中进行了严格测试，使用LMSys的LLM去污染器确保结果不受污染。演示站点包括一些建议的使用提示，如询问Reflection 70B单词“Strawberry”中有多少个字母“r”，以及哪个数字更大，9.11还是9.9，这是许多AI模型——包括一些领先的专有模型——无法一致正确地回答的两个简单问题。
GPT-4与ChatGPT：人工智能对话的新时代【含国内可用gpt】
rwbqwertyuiop的博客
09-13 558
随着人工智能（AI）技术的不断突破，人与机器的交互方式正发生深刻的变革。在这股技术浪潮中，GPT-4和基于它的ChatGPT成为了令人瞩目的焦点，推动了对话式AI的快速发展。通过这些技术，我们不仅看到了AI在语言理解和生成方面的巨大潜力，也见证了人类与智能系统之间的互动进入了一个全新的阶段。
快速完成论文初稿写作的ChatGPT提示词分享
sinat_15688223的博客
09-12 1251
将你的初稿内容提供给ChatGPT，或者粘贴某一部分的内容，请求审查整体的逻辑流畅性，ChatGPT可以帮助你识别并建议改进逻辑连接的地方。你可以分段进行生成，逐步完善每个部分的内容。- 提供你想要检查或完善的具体内容，ChatGPT可以帮助你细致地审查论文中的每个细节，确保内容的全面性和一致性。- 提供具体的反馈内容或建议，ChatGPT可以帮助你重新构建或优化相关部分的内容，以更好地满足反馈的要求。- "我正在写一篇关于[你的研究主题]的论文，请帮我构建一段引言，包括研究背景、问题陈述和研究目标。
ChatGPT：大模型技术演进与应用探索
6. **未来发展方向**：ChatGPT等大模型的出现，预示着自然语言处理技术的新阶段，为实现更智能的人机交互和通用人工智能提供了新途径。然而，如何解决模型的伦理、隐私和安全问题，以及如何提高其推理和理解能力，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值