总结：大模型技术栈

已于 2024-05-01 23:19:29 修改
阅读量1.9k 收藏 28
点赞数 22
分类专栏： LLM 应用实现总结 文章标签： 人工智能 自然语言处理
于 2024-01-17 14:12:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichunericli/article/details/135648980
版权
本文详细总结了大模型的技术栈，涵盖了从算法与原理（如tokenizer训练、注意力机制、transformer架构）、训练方法（预训练、RLHF训练、分布式并行训练）、推理优化（包括剪枝、量化、显存优化）到应用实践（RAG、文本检索、Agent框架）等多个方面。同时，讨论了训练框架（如deepspeed、megatron-lm）和推理服务（如FastChat、LMDeploy），以及开源模型和相关工具，为深入理解和应用大模型提供了全面的指南。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 原文地址：大模型技术栈

  • 第一部分：算法与原理
    • 第一章 概览与前置任务
      • tokenizer训练
        • tokenizer原理与算法:BPE，ByteBPE，wordpiece，unilm，sentence-piece
        • tokenizer训练：sentence-piece
      • position encoding方案
        • Alibi
        • RoPE
      • 注意力机制与transformer架构
        • 典型的自注意力机制
        • 其他注意力机制
          • Mamba，H3,Hyena，RetNet，RWKV，Linear attention，Sparse attention
        • 典型的transformer架构
          • decoder-only
          • encoder-only
          • encoder-decoder
    • 第二章 训练
      • 预训练
        • lm训练配置
          • 正则化方法
          • 激活函数
          • 优化器
      • SFT训练
      • 强化学习
        • Police-Based
        • Value-Based
        • Actor-Critic
      • RLHF训练
      • 其他指令对齐训练
      • 分布式并行训练技术
        • 模型并行
          • tensor parellelism
          • 序列并行
          • pipeline parellelism
            • GPipe，1F1B，interleaved 1F1B
        • 数据并行
          • DP，DDP，FSDP，ZeRO
最低0.47元/天 解锁文章
（2）大模型开发技术栈
码农三叔
12-19 1274
开发金融领域的大型神经网络模型通常需要一个多功能的技术栈，以处理各种任务，包括数据准备、模型构建、训练、部署和监测。在本专题的内容中，将向大家讲解大模型开发的技术栈，简要介绍开发大模型所需要的技术，为读者步入本书后面知识的学习打下基础。
从基础到高级：AI大模型开发的技术栈
AI天才研究院
01-17 2123
人工智能（AI）技术在近年来取得了突飞猛进的发展，其中大模型（Large Language Models，LLMs）的出现更是掀起了新一轮的技术革命。从OpenAI的GPT系列到Google的BERT，再到更近期的Claude和PaLM，这些大模型展现出了惊人的语言理解和生成能力，正在重塑我们与技术交互的方式。然而，开发如此复杂的AI系统并非易事，它需要一整套完善的技术栈支持。本文旨在全面剖析AI大模型开发的技术栈，从基础理论到实际应用，为读者提供一个清晰而深入的认识。
构建AI大模型应用技术栈有哪些？
lvaolan168的博客
07-25 1285
随着人工智能技术的飞速发展，AI大模型已经成为推动各行各业技术革新的关键力量。本文将深入探讨AI大模型的核心技术栈的构建，以及不同技术组件的关键作用。AI大模型应用的核心技术栈‍‍各组件的关键作用基于大模型的应用和普通应用的区别‍01AI大模型应用的核心技术栈为了开发一个AI大模型的应用，我们需要哪些必要的组件来完成相关开发了，下图是AI大模型的应用的核心技术栈。‍‍‍‍‍‍‍‍‍核心技术栈中主要包含的内容是大模型管理（通用大模型、领域私有化的微调大模型、工具型大模型）。
【大模型学习路线】2025最新大模型技术学习路线：从入门到精通，一篇文章全掌握！
2401_84494441的博客
03-15 1207
理论其实就是一套描述和解决问题的方法论，只不过不同的技术有不同的方法，也就是理论。‍‍‍‍‍‍‍‍‍‍理论的发展有两种方式，一种是基于实践检验结果总结出来的经验；二种是以严谨的科学理论推导出逻辑自洽的解决某个问题的方法。‍‍‍‍‍‍‍比如说，火是人类生存和进化的重要条件之一，而在远古时期人类对于火的认知还比较浅显，因此那时关于火的理论也比较基础，比如它可以取暖，可以烤熟食物等；这就是基于经验的理论基础。‍‍‍‍。
AI人工智能 万字长文详解大模型平台技术栈
人工智能讲师分享前沿技术
03-20 1694
有意思的是，GPT-1 和 GPT-2[49] 并没有展示出类似于 GPT-3 相同的强大能力，表明模型规模的增加在扩大模型架构的容量发挥了巨大的作用。从为了解决翻译问题时 Seq2Seq 模型的提出的 Attention 的基本概念 [42]，到 Transformer 架构中完全抛弃 RNN [43] 提出的 Attention is All You Need[44]，到 GPT-2 和 GPT-3 的架构解读[45][46]，Jay Alammar 的博客都提供了精彩的可视化配图便于理解模型结构。
万字长文详解大模型平台技术栈
人工智能讲师分享前沿技术
01-22 497
有意思的是，GPT-1 和 GPT-2[49] 并没有展示出类似于 GPT-3 相同的强大能力，表明模型规模的增加在扩大模型架构的容量发挥了巨大的作用。从为了解决翻译问题时 Seq2Seq 模型的提出的 Attention 的基本概念 [42]，到 Transformer 架构中完全抛弃 RNN [43] 提出的 Attention is All You Need[44]，到 GPT-2 和 GPT-3 的架构解读[45][46]，Jay Alammar 的博客都提供了精彩的可视化配图便于理解模型结构。
大模型技术栈-实战与应用 训练框架 deepspeed Megatron Megatron-LM Megatron-DeepSpeed colossal-ai 推理框架 triton 向量数据库
万有文的博客
04-16 2625
大模型技术栈的实战与应用是一个涉及多个层面和领域的复杂任务。以下是一些关键方面的概述：一、技术栈概述大模型技术栈主要包括一系列用于构建和训练大型人工智能模型的技术和工具。这些模型通常涉及深度学习、自然语言处理、计算机视觉等领域。随着数据规模的增加和计算能力的提高，大模型的性能和应用范围也在不断扩大。二、实战开发在实战开发过程中，开发人员需要深入理解模型架构，合理选择技术栈，并关注应用的实际需求。这包括数据收集与预处理、模型选择与训练、模型优化与部署等多个环节。
总结：大模型技术栈---算法与原理
安静的软件工程师
03-06 1843
总结：大模型技术栈---算法与原理
大模型应用技术系列(一）：大模型应用整体技术栈浅析
u011160113的博客
12-23 1061
技术最终是为业务服务的，基于新兴的大模型技术，最近涌现出各种有意思的应用。从我的视角，这部分应用通常可以被分为两类：问答式应用和生成式应用。典型的问答式应用包括：chat应用、智能助手、企业知识库等；典型的生成式应用包括：文本创作、文生图、文生视频等。那么，这些应用是如何构建的呢？如何基于大模型来构建起这样的一个私人/企业级的应用呢？本文接下来的部分将探索构建这样应用的流程和所涉及到的技术栈。
二、大模型微调技术栈全解析
xiaoqi270620903的专栏
02-25 624
大模型微调的技术栈就像是一个完整的生态系统，每一层都扮演着重要的角色。微调方法提供了多样化的工具，框架搭建了运行和管理的舞台，模型是核心对象，算力则是驱动整个系统的引擎。通过合理选择和组合这些技术，可以为大模型的微调提供强大的支持，让模型更好地适应特定的任务和场景。
大模型技术栈-算法与原理 tokenizer方法 position encoding 位置编码 注意力机制 分布式训练 Prompt Engineering 微调 压缩 剪枝 量化 embeddin
万有文的博客
04-17 1250
大模型技术栈中的算法与原理涉及多个方面，其中Tokenizer方法是大模型处理文本数据的关键步骤之一。Tokenizer负责将原始文本转化为模型能够理解的数值表示形式，其方法的选择直接影响到模型的性能和效率。以下是对word-level、char-level以及subword-level中的多种Tokenizer方法的介绍：Word-level Tokenizer是最直观的方法，它将每个单词作为独立的标记。这种方法简单易懂，但存在一些问题。
大模型应用开发所需的技术栈概览
最新发布
代码时光
03-20 450
在大型 AI 模型中，RAG（Retrieval-Augmented Generation）是一种模型架构，它结合了检索（Retrieval）和生成（Generation）两种方法，用于处理自然语言生成任务。
大语言模型(LLMs)和新兴机器学习技术栈
Baihai_IDP的博客
03-20 2059
过去，NLP开发人员依赖于文本分类、命名实体识别和命名实体消歧等技术栈来优化NLP任务。然而，随着大语言模型(LLM)的快速发展，新的技术栈开始出现，以支持和加速这些大型语言模型的实现和应用。 让我们一起跟随Langchain的开发者，共同探讨LLM及NLP技术栈正在发生的变化，以及这一系列变化对开发者的意义
大模型开发工程师技术栈（此篇文章持续更新）
无敌小怪兽_Zz的博客
08-09 5534
大模型开发工程师进阶学习路线系列
从事大模型研发的技术栈和学习路线
weixin_48313678的博客
08-26 1125
总的来说，想要从事大模型研发，需要具备扎实的数学和编程基础，深入理解 NLP 和深度学习的相关技术，并且积极参与实践项目和社区活动。随着技术的发展和更多的资源的可用性，学习和研究大模型的门槛正在逐步降低。
大模型技术栈-实战与应用【笔记】
m0_46168848的博客
08-13 509
大模型技术栈-实战与应用思维导图，笔记
做大模型领域的“Linux”！智源 FlagOpen 大模型技术栈全部开源
AI科技大本营
02-28 5811
AI 时代封闭生态正在形成，需要建立开源开放的“新 Linux”生态体系。作者 | 唐门教主出品 | CSDN（ID：CSDNnews）2023 年 2 月 28 日，在位于北京海淀的智源人工智能研究院里，FlagOpen 飞智大模型技术开源体系发布的现场，智源人工智能研究院院长黄铁军在演讲中表示，从 PC 时代 Linux 打破 Wintel 联盟的垄断，在 iOS 的封闭生态和 Android...
全球AI 大模型全栈技术研究报告 2024
weixin_59191169的博客
04-08 1602
经过大规模预训练的大模型，能够在各种任务中达到更高的准确性、降低应用的开发门槛、增强模型泛化能力等，是AI 领域的一项重大进步。大模型最早的关注度源于 NLP 领域，随着多模态能力的演进，CV 领域及多模态通用大模型也逐渐成为市场发展主流。政企的极大关注带动了行业领域大模型的高速发展，逐渐形成了多模态基模型为底座的领域大模型和行业大模型共同发展的局面。伴随基于大模型发展的各类应用的爆发，尤其是生成式 AI，为用户提供突破性的创新机会，打破了创造和艺术是人类专属领域的局面。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值