LLM(Large Language Model)是指大型语言模型,是一种基于深度学习的自然语言处理技术。2022年末到现在,短短半年时间,AIGC领域可以说是日新月异,技术更新过快,需要持续关注,才能够对整个领域有更为全面、客观的认知,因此,整理这篇文章,持续跟踪进展。
模型汇总
模型名称 | 发布机构 | 使用的技术 | 参数数量 | 发布时间 | 主要应用 |
---|---|---|---|---|---|
GPT-4 | OpenAI | Transformer网络 | 未知 | 2023年 | 多模态文本阅读理解 |
GPT-3.5 | OpenAI | Transformer网络 | 175B | 2022年 | 聊天机器人 |
GPT-3 | OpenAI | Transformer网络 | 175B/13B/6B/2.7B/1.3B/175M | 2020年 | 语言翻译、聊天机器人、内容创作等 |
GPT-2 | OpenAI | Transformer网络 | 1.5B/774M/355M/117M | 2019年 | 低成本解决方案 |
GPT-1 | OpenAI | Transformer网络 | 117M | 2018年 | 文本生成,第一代GPT |
Bard | 未知 | 未知 | 2023年 | 聊天机器人 | |
---|---|---|---|---|---|
LLaMA | Meta | 未知 | 7B/13B/30B/65B | 2023年 | 聊天机器人 |
Alpaca | Stanford | 预训练模型 | 未知 | 2023年 | 自然语言生成 |
LMFlow | HKUST | 预训练模型 | 未知 | 2023年 | 自然语言生成 |
Auto-GPT | |||||
Dolly 2.0 | 可商用开源 | 预训练模型 | 2023年 | 类chatGPT | |
DeepSpeed Chat | 微软 | RHLF框架 | 2023年 | 类chatGPT | |
Vicuna | 非商业使用 | 预训练模型 | 2023年 | https://vicuna.lmsys.org/ |
文心一言 | 百度 | 预训练模型 | 未知 | 2023年 | 聊天机器人 |
---|---|---|---|---|---|
通义千问 | 阿里 | 预训练模型 | 未知 | 2023年 | 多模态文本生产 |
知海图AI | 知乎 | 预训练模型 | 未知 | 2023年 | 文本生成 |
DriveGPT | 毫末智行 | 预训练模型 | 120B | 2023年 | 自动驾驶领域 |
商量AI | 商科科技 | 预训练模型 | 2023年 | 类chatGPT |
产品应用
当下市场上有很多利用GPT-3模型构建的应用,以下是其中一些代表性的应用:
应用名称 | 机构 | 描述 | 官网链接 |
---|---|---|---|
copy.AI | 未知 | 基于GPT-3的文本创作工具,自动生成文章和广告文案 | https://www.copy.ai/ |
EleutherAI | 社区驱动 | 由社区驱动的人工智能研究组织,使用GPT-3等模型进行研究和开发,旨在推动人工智能的开放和透明发展 | https://www.eleuther.ai/ |
Lobe | 未知 | 基于GPT-3的图像分类工具,可以快速、准确地识别图像内容 | https://lobe.ai/ |
Kryon | 未知 | 提供智能自动化解决方案的公司,其中包括基于GPT-3的语言生成工具,用于自动化内容创作和客户服务 | https://www.kryonsystems.com/ |
Replika | 未知 | 基于GPT-3的聊天机器人应用,提供个性化的对话体验,旨在提供心理健康支持和情感交流 | https://replika.ai/ |
https://www.notion.so | Notion | 功能强大的生产力工具,使用GPT模型提供智能文本格式化、自动链接、语法检查和自动建议等功能 | https://www.notion.so/ |
Copilot | 微软 | Office系列办公Copilot | |
CopilotX | 微软 | Github系列编码 | https://copilot.github.com/ |
chatGPT | OpenAI | 对话/聊天/编码/查资料 | https://beta.openai.com/docs/api-reference/chat |
DALL-E | OpenAI | AI绘图 | https://openai.com/product/dall-e-2 |
Stable Diffusion | AI绘图 | ||
Midjourney | Midjourney | AI绘图 | https://www.midjourney.com/ |
Blender | 文本转3D | https://www.blender.org/ | |
Unity | 文本转3D | https://unity.com/ |
学习资源
大型模型学习是人工智能和通用计算领域中的热门话题。以下是学习大型模型的一些资源:
Deep Learning Specialization是由deeplearning.ai提供的一个深度学习课程系列,涵盖了许多与大型模型相关的主题。
The Illustrated Transformer是一篇由Jay Alammar撰写的文章,详细介绍了Transformer模型的内部工作原理。
The GPT-3 Deep Dive是一篇由Max Woolf撰写的文章,深入探讨了GPT-3模型的内部机制和潜力。
Hugging Face是一个提供各种机器学习模型和工具的开源社区,其中包括GPT-3和LLaMA等大型模型。
Papers with Code是一个提供各种机器学习论文和代码的开放资源库,可以帮助您更深入地了解大型模型的最新研究进展。
https://www.youtube.com/@AndrejKarpathy openAI大佬AndrejKarpathy下场讲解GPT,系列视频讲解原理。
发展历程
2010年,Hinton提出了深度信念网络(Deep Belief Network,DBN)。
2012年,当时谷歌的神经网络语言模型(Google's Neural Network Language Model)在语言建模任务上取得了很高的准确率。
2012年,Hinton等人使用深度学习技术在ImageNet图像识别比赛中取得了显著的成绩,这标志着深度学习技术开始进入大众视野。
2013年,Google推出了DistBelief,这是一种用于训练大规模深度学习模型的分布式系统,为深度学习在实际应用中的推广奠定了基础。
2014年,Google推出了TensorFlow,这是一种用于构建和训练深度学习模型的开源软件库,为深度学习技术的发展提供了强有力的支持。
2015年,Facebook推出了Caffe2,这是一个高效的深度学习框架,被广泛应用于图像和语音识别等领域。
2015年,谷歌推出了基于长短时记忆网络(LSTM)的大规模语言模型—— LSTM-LM。该模型采用了一个具有多层LSTM单元的循环神经网络架构,模型使用大量的无标注文本训练,能够预测下一个单词或字符的概率分布。
2016年,Google推出了WaveNet,这是一种用于生成高质量语音的深度学习模型,标志着深度学习技术开始被应用于语音合成领域。
2017年,谷歌推出Transformer。Transformer是一种基于注意力机制的神经网络架构,可以用于自然语言处理任务,如机器翻译、问答系统等。Transformer的出现被认为是近年来人工智能领域最重要的突破之一。
2017年,谷歌推出了AutoML,这是一种用于自动化机器学习流程的工具,标志着深度学习技术开始进入自动化阶段。
2018年,OpenAI推出了GAN(Generative Adversarial Network),这是一种用于生成高质量图像的深度学习模型,标志着深度学习技术开始被应用于图像生成领域。
2018年,OpenAI推出了GPT(Generative Pre-training Transformer)模型,该模型采用了Transformer网络,其能够在没有特定任务的条件下进行无监督学习,从而实现了对自然语言的深层次理解。GPT-1模型使用了40GB的文本数据进行训练,可以生成高质量的文章和对话。
2019年,OpenAI又推出了GPT-2模型,该模型使用了更大规模的数据集进行训练,包括了60亿个参数。GPT-2展示了令人惊讶的生成能力,在生成新闻报道、诗歌等任务上表现出了惊人的水平。
2019年,谷歌推出BERT(Bidirectional Encoder Representations from Transformers)模型,该模型采用Transformer网络,使用预训练和微调的方法,可以在许多自然语言处理任务上取得最先进的结果。
2020年,OpenAI推出了GPT-3(Generative Pre-trained Transformer 3),这是一种用于自然语言处理和生成的深度学习模型,拥有1750亿个参数,标续...
2020年,Facebook推出了MADDPG,这是一种用于多智能体强化学习的算法,可应用于协作和竞争场景。
2020年,DeepMind推出了AlphaFold 2,这是一种用于蛋白质结构预测的深度学习模型,被誉为生物学界的“圣杯”。
2020年,百度推出了ERNIE(Enhanced Representation through kNowledge IntEgration)2.0,这是一种基于知识增强的自然语言处理模型,可实现更准确的语义理解。
2021年,OpenAI推出了DALL·E,这是一种用于图像生成的深度学习模型,可以根据文字描述生成符合要求的图像,具有较高的创造性和想象力。
2021年,谷歌推出了MUM(Multitask Unified Model),这是一种用于自然语言理解的深度学习模型,可以同时处理多个任务,实现更全面的语义理解。
2021年,Facebook推出了CLIP(Contrastive Language-Image Pre-Training),这是一种用于视觉和语言理解的深度学习模型,可以实现图像和文本之间的跨模态匹配。
2021年,谷歌推出了LambdaNetworks,这是一种用于图像和视频处理的深度学习模型,采用了新颖的空间转换方法,可以实现更高效的特征提取和处理。
2021年,OpenAI推出了Codex,这是一种用于代码生成的深度学习模型,可以根据自然语言描述生成符合要求的代码,具有较高的实用价值。
2022年,OpenAI推出了gpt-turbo-3.5和chatGPT,点燃了AIGC在消费市场的烈火。
2023年,OpenAI推出GPT-4,AGI雏形初现。
2023年,谷歌推出Bard、Meta推出LLaMa、百度推出文心一言、阿里推出通义千问,不同的科技巨头入场,给出了他们各自的LLM答卷,AIGC领域百花齐放。
未来,GPT-5/GPT-6不断演化,各个科技公司产品不断发展,AGI进入人们生活指日可待。
以上是一些近年来比较重要的人工智能领域大模型,它们的推出和应用,不仅促进了人工智能技术的发展,也为各个领域的应用提供了强有力的支持。
结语
本文介绍了大型语言模型在自然语言处理领域的发展历程、模型汇总和产品应用。然而,随着技术的不断发展和新模型的不断出现,大型语言模型的应用也在迅速扩展。因此,将继续追踪和更新有关大型语言模型的最新发展,以便我们能够及时了解最新技术和应用,为我们的工作和学习提供帮助。