大模型的4种技术架构

最新推荐文章于 2024-03-26 08:18:59 发布
最新推荐文章于 2024-03-26 08:18:59 发布
阅读量914 收藏 9
点赞数 9
分类专栏： 大模型 AI大模型 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43882788/article/details/135710388
版权

1.纯Prompt （就是人机对话，你说一句，他回答一句）

2. Agent + Function Calling

例子：Agent：AI主动提要求  Function Calling：AI要求执行某个函数  场景举例: 你问放假去那里玩，它先反问你有几天假期

3. RAG = Embeddings + 向量数据库

（1）Embeddings：把文字转换为更易于相似度计算的编码。这种编码叫做向量

  (2)   向量数据库：把向量存起来，方便查找

  (3)   向量搜索： 根据输入向量，找到最相似的向量

  (4)   场景举例 ：考试时，看到一道题，到书上找到相关内容，再结合题目组成答案。（没有记忆性）

4. Fine-tuning （努力学习考试知识内容，长期记住，活学活用）

永远的HelloWorld
关注
  • 9
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
区块链的架构模型以及核心技术
01-07
一.架构模型 一般说来，区块链系统由数据层、网络层、共识层、激励层、合约层，应用层组成。 数据层： 封装了底层数据区块以及相关的数据加密和时间戳等基础数据和基本算法。 网络层： 则包括分布式组网机制、数据传播机制和数据验证机制等。 共识层： 主要封装网络节点的各类共识算法。 激励层： 将经济因素集成到区块链技术体系中来，主要包括经济激励的发行机制和分配机制等。 合约层： 主要封装各类脚本、算法和智能合约，是区块链可编程特性的基础。 应用层： 则封装了区块链的各种应用场景和案例。 区块链技术最具代表性的创新点： 基于时间戳的链式区块结构、分布式节点的共识机制。 基于共识算力的经济激励和灵活可编程
大模型学习笔记——模型架构
xzj110804的博客
12-17 945
7.1 模型概括分词架构：Transformer7.2 分词句子转化成单词序列。7.2.1 基于空格分词字节编码（BPE）BPE 算法的基本步骤：1. 初始化词汇表：将输入文本中的每个字符或字符组合作为初始的词汇表。2. 计算字符（或字符组合）的频率：统计文本中每个字符（或字符组合）的频率，并构建一个频率字典。3. 合并最频繁的字符（或字符组合）：选择频率最高的字符（或字符组合）并将其合并为一个新的字符或字符组合。更新词汇表和频率字典。
大模型应用的6种架构模式，你知道几种？
最新发布
musicml的博客
03-26 1225
▼最近直播超级多，预约保你有收获架构设计模式已成为程序员的重要技能。然而，当我们转向大模型应用领域，情况可能会有所不同。面对新兴技术，比如：生成式 AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。根据多年的架构设计经验，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，比如：成本问题、延迟问题以及生成的幻觉等问题。—1—路由分发架构模式当用户输...
三种大模型架构
weixin_45727359的博客
10-29 326
Transformers构成了革命性的大语言模型的骨干。虽然像GPT4、llama2和Falcon这样的LLM在各种任务上似乎表现出色，但LLM在某个特定任务上的性能是底层架构的直接结果。有三种不同的Transformer架构变体为不同的LLM提供动力。1️⃣自编码器（Autoencoders）- 在自编码器中，预训练后会丢弃Transformer的解码器部分，只使用编码器生成输出。广泛流行的B...
云计算架构参考模型
01-07
图 1 所示是美国国家标准与技术研究所（简称 NIST）定义的通用云计算架构参考模型，图中列举了主要的云计算参与者，以及他们各自的分工。 NIST 云计算架构参考模型定义了 5 种角色，分别是云服务消费者、云服务提供商、云服务代理商、云计算审计员和云服务承运商。每个角色可以是个人，也可以是单位组织。如表 1 所示，列举了每个角色的具体定义。 图 1  云计算架构参考模型 表 1 角色定义 角色 定义 云服务消费者 租赁云服务产品的个人或单位组织 云服务提供商 提供云服务产品的个人或单位组织，如中国电信天翼云、阿里云、腾讯云等 云服务代理商 代理云服务
大模型核心技术原理: Transformer架构详解
马沛专栏
06-05 5069
四是，通用语言模型，如 GLM，该模型结合了自回归和自编码两种形式的模型，举个例子，“123456”是一串输入的序列，现在把 “3”、“5”、“6” 挖空，让模型去学习，那么，挖空以后换成一个 “ mask token” 告诉模型这个地方遮掉了一些内容，现在需要去预测出来遮掉的内容。一是，自编码模型，如 BERT，简单讲就是给到一句话，然后把这句话的内容挖空，当问及挖空的内容时，就把内容填回去，这其实是典型地用来做一个自然语言理解的任务，但做生成任务是非常弱的；本文由博客一文多发平台。
大模型的构架
m0_75035152的博客
09-16 256
与仅仅根据频率进行拆分不同，一个更“有原则”的方法是定义一个目标函数来捕捉一个好的分词的特征，这种基于目标函数的分词模型可以适应更好分词场景，Unigram model就是基于这种动机提出的。分词结果 T=(1,2),(3,4),(5,5) 表示将字符串拆分成三个子序列： ，，(𝖺,𝖻)，(𝖺,𝖻)，(𝖼)。该模型的具有编码端，解码端两个架构的共同的优点，对于每个 xi ，上下文向量表征可以双向地依赖于左侧上下文 x1:i−1 ) 和右侧上下文 ( xi+1:L )，可以自由的生成文本数据。
大模型之模型架构（Datawhale一起学）
m0_62479378的博客
01-20 678
注意：文章内容参考了斯坦福CS324 - Large Language Models课程，以及Datawhale的一起学相关课程中的内容。
大模型架构设计新范式，给神经网络架构增加了一个维度！
gzq0723的博客
06-27 272
点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院公众号ID｜计算机视觉研究院学习群｜扫码在主页获取加入方式论文地址：https://arxiv.org/pdf/2212.11696.pdf项目代码：https://github.com/megvii-research/RevCol计算机视觉研究院专栏Column of Computer Vision Institute提出了一种新的神经网络设...
简单学点大模型-新的模型架构
2201_75734742的博客
09-20 457
MoE 将预测建模任务分解为若干子任务，在每个子任务上训练一个专家模型（Expert Model），开发一个门控模型（Gating Model），门控模块用于选择使用哪个专家，组合各种专家。为了解决这个问题，提出了一种方式，即将大模型拆分成多个小模型，对于一个样本来说，无需经过所有的小模型去计算，而只是激活一部分小模型进行计算，这样就节省了计算资源。然而，如果我们将门控函数。现在，我们转向另⼀类语言模型，基于检索的（或检索增强的、记忆增强的模型），它可以帮助我们突破稠密Transformer的缩放上限。
大模型系列｜基于大模型复杂数据系统架构（二）
素质云笔记
08-03 1803
大模型下的复杂数据系统架构笔记
AI大语言模型架构思想技术.zip
09-08
AI大语言模型架构思想技术.zip
VS2010实践RUP4+1架构模型
03-02
图1.RUP4+1架构图用例视图（UseCasesView）,最初称为场景视图,关注最终用户需求,是系统功能的高层抽象,为整个技术架构的上线文环境.通常用UML用例图和活动图描述。逻辑视图（Logicalview），主要是整个系统的抽象...
常见大模型对比[ChatGPT（智能聊天机器人）、Newbing(必应)、Bard（巴德）、讯飞星火认知大模型（SparkDesk）、ChatGLM-6B]
weixin_52220767的博客
05-26 6144
2022年7月，李飞飞、PercyLiang等[1]提出“基础模型”(FoundationModels)的概念：基于自监督学习的模型在学习过程中会体现出来各个不同方面的能力，这些能力为下游的应用提供了动力和理论基础，称这些大模型为“基础模型”。2023年2月，刘安平等[2]提出大模型是“大数据+大算力+强算法”结合的产物，凝练了大数据内在精华的“隐式知识库”，是实现人工智能应用的载体。
人人需要掌握的大模型技术架构深度剖析
musicml的博客
06-07 4201
随着 AIGC 新时代到来，大型的语言模型逐渐成为学术界和工业界的热点。在自然语言处理、智能对话、知识获取等领域，大型模型发挥着越来越重要的作用。本文将从工程架构、算法架构及应用架构三个方面对大模型的技术架构进行深入剖析。1、工程架构剖析第一、分布式训练大型模型的训练通常需要大量的计算资源，分布式训练成为了实现这一目标的关键技术。分布式训练通常采用以下两种方式进行：数据并行（Data Parall...
大模型训练的关键技术之基础框架
白话机器学习
01-14 977
但是，由于FP16的精度较低，训练过程中可能会出现梯度消失和模型不稳定的问题。在混合精度训练中，BF16可以作为一种精度更高的替代品，用于一些关键的计算操作，例如梯度累加和权重更新等。在使用混合精度训练时，需要使用一些技术来解决可能出现的梯度消失和模型不稳定的问题，例如动态精度缩放和混合精度优化器等。ZeRO-Offload和ZeRO-Stage3是DeepSpeed中的不同的Zero-Redundancy Optimization技术，用于加速分布式训练，主要区别在资源占用和通信开销方面。
大模型架构原来是这样的（热火流弊）
shenjian58的博客
05-30 504
今晚20:00，先行者分享大模型架构：（1）工程架构；（2）算法架构；（3）开源案例实战；文末免费预约直播。在ChatGPT风靡之下，国内互联网科技大厂纷纷兴起大模型探索。在5月的一场ICT市场趋势论坛上，知名行研机构IDC对基于大模型的AI市场规模进行了预测：中国AI市场规模在2023年将超过147亿美元，到2026年将超过263亿美元。为帮程序员更快更深入的了解大模型，孙玄老师亲自操刀打磨了...
面向 “大模型” 的未来服务架构设计
魏小言的博客
07-10 685
发展研究中心 5 月底发布的《中国人工智能大模型地图研究报告》显示，我国 10 亿参数规模以上的大模型已发布79个，几乎进入“百模大战”。 百度的文心一言 ，阿里的通义千问、讯飞星火大模型、智谱AI的ChatGLM 等纷纷发布。此后，美团、百川智能、云知声、美图、腾讯……新加入大模型赛道的国内科技公司此起彼伏，一场围绕大模型的 “军备竞赛” 已趋白热化。
深度学习大模型框架的简单介绍（ChatGPT背后原理的基本介绍）
热门推荐
weixin_42529594的博客
02-07 1万+
介绍ChatGPT背后，简单介绍整个大规模预训练语言模型的发展历程。
大模型应用程序技术架构
02-21
大型应用程序的技术架构通常是复杂且多样化的，下面是一个常见的大模型应用程序技术架构的介绍： 1. 前端层：前端层是用户与应用程序交互的界面，通常包括网页、移动应用等。前端层负责接收用户的请求，并将其发送到后端进行处理。 2. 后端层：后端层是应用程序的核心部分，负责处理前端发送的请求，并进行相应的业务逻辑处理。后端层通常包括以下组件： - Web服务器：负责接收和处理HTTP请求，并将请求转发给应用程序的其他组件。 - 应用服务器：负责处理业务逻辑，包括数据处理、计算、验证等。 - 数据库：用于存储和管理应用程序的数据。 - 缓存服务器：用于缓存频繁访问的数据，提高系统性能。 - 消息队列：用于异步处理任务，提高系统的可伸缩性和可靠性。 3. 数据层：数据层负责管理应用程序的数据，包括数据的存储、访问和处理。数据层通常包括以下组件： - 数据库管理系统：用于管理和操作数据库，如MySQL、Oracle等。 - 数据存储：用于存储数据的硬件设备，如磁盘、固态硬盘等。 - 数据缓存：用于缓存数据，提高数据的读取速度。 - 数据备份和恢复：用于定期备份和恢复数据，保证数据的安全性。 4. 中间件层：中间件层是连接前端和后端的桥梁，负责处理应用程序的通信和协调。中间件层通常包括以下组件： - 消息队列：用于异步处理任务和消息传递。 - 分布式缓存：用于分布式环境下的数据缓存。 - 负载均衡器：用于将请求分发到多个后端服务器，提高系统的性能和可靠性。 - API网关：用于管理和控制API的访问权限和流量。 以上是一个常见的大型应用程序技术架构的介绍，具体的架构设计会根据应用程序的需求和规模而有所不同。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值