大模型综述
文章平均质量分 91
千穹凌帝
这个作者很懒,什么都没留下…
展开
-
大模型之安全性
本文作为大模型综述第篇,介绍大模型的安全性相关内容。原创 2024-08-05 10:21:59 · 532 阅读 · 0 评论 -
大模型之大模型应用
本文作为大模型综述第篇,介绍大模型的应用相关内容。大模型由于其强大的自然语言与多模态信息处理能力,可以应对不同语义粒度下的任务,进行复杂的逻辑推理,还具有超强的迁移学习和少样本学习能力, 可以快速掌握新的任务, 实现对不同领域、不同数据模式的适配,这些特点使得大模型较容易的赋能其他行业,提升行业效率。如在信息检索领域,大模型可以从用户的问句中提取出真正的查询意图,检索出更符合用户意图的结果,还可以改写查询语句从而检索到更为相关的结果;原创 2024-08-04 10:28:27 · 851 阅读 · 0 评论 -
大模型之大模型的开发训练与推理部署
在通信优化方面,框架支持自适应的通信拓扑优化技术,可感知硬件集群环境的配置,搜索最优并行策略,支持大模型在不同规模集群下的高效训练,提升模型性能的同时,降低开发者配置高效大模型训练的门槛。这种方案能够快速进行量化,并且具有较高的精度,尤其对访存受限的场景,也拥有较好的效果。为实现大模型的高效训练和推理,需要通过深度学习框架实现与硬件的适配和深度协同优化,通过低成本、高效率的硬件适配方案,提升大模型与硬件的适配效率,并通过混合精度、显存复用、融合优化等软硬件协同优化技术,结合硬件特性实现系统级优化。原创 2024-08-03 17:49:32 · 878 阅读 · 0 评论 -
大模型之大模型技术生态
本文作为大模型综述第篇,介绍语言大模型技术生态。随着大模型技术的快速发展,大模型的生态体系也在快速构建。典型的大模型平台如 ChatGPT、文心一言、讯飞星火等提供如 APP、网页版、 API 接口等多种形式的开放服务,并通过开放插件机制、Function Call 等实现大模型外部工具、服务的调用,加速应用生态的发展。与此同时,开源大模型也已经成为生态体系中的关键组成部分。通过大模型的开源共建,凝聚了来自企业、高校、科研院所等众多领域高水平开发者的力量,加速大模型的科研创新和产品迭代。原创 2024-08-02 13:23:39 · 1622 阅读 · 0 评论 -
大模型之多模态大模型技术
本文作为大模型综述第三篇,介绍语言大模型多模态技术。不同于语言大模型只对文本进行处理,多模态大模型将文本、语音、图像、视频等多模态数据联合起来进行学习。多模态大模型融合了多种感知途径与表达形态, 能够同时处理和理解来自不同感知通道(例如视觉、听觉、语言和触觉等)的信息,并以多模态的方式表达输出。原创 2024-08-01 20:19:33 · 1099 阅读 · 0 评论 -
大模型之语言大模型技术
本文作为大模型综述第篇,介绍语言大模型基本技术。近年来,在 Transformer 架构基础上构建的预训练语言模型为自然语言处理领域带来了一系列突破式进展,成为人工智能主流技术范式。预训练语言模型采用“预训练+微调”方法,主要分为两步: 1)将模型在大规模无标注数据上进行自监督训练得到预训练模型, 2)将模型在下游各种自然语言处理任务上的小规模有标注数据进行微调得到适配模型。由于预训练语言模型参数越大模型表现越好,这激发了语言大模型(Large Language Model, LLM)研究热潮。原创 2024-08-01 19:46:27 · 1082 阅读 · 0 评论 -
大模型之技术概述
本文作为大模型综述第篇,介绍大模型技术基本情况。原创 2024-08-01 12:55:28 · 1117 阅读 · 0 评论