协同推理：模型切分算法；任务调度算法

于 2024-10-28 20:42:57 发布
阅读量271 收藏
点赞数 2
分类专栏： 2024大模型以及算力 2021 论文 文章标签： 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38998213/article/details/143311639
版权
2021 论文 同时被 2 个专栏收录
832 篇文章 ¥199.90 ¥299.90
订阅专栏
2024大模型以及算力
655 篇文章 ¥199.90 ¥299.90
订阅专栏

目录

协同推理

模型切分算法

任务调度算法

优化目标

协同推理

协同推理算法涉及模型切分算法和任务调度算法，它们的主要优化目标包括性能、动态环境中推理延迟的鲁棒性和能耗等。以下是对这两类算法及其优化目标的详细阐述：

模型切分算法

模型切分算法旨在将复杂的深度学习模型划分为多个部分，以便在多个设备上并行处理，从而加速推理过程并减少计算成本。这些算法通常会考虑模型的结构、设备的计算能力、网络带宽和延迟等因素。

  1. DeepThings：将神经网络的卷积层切分为互不重叠的部分来实现并行化的CNN协同推理。然而，它的模型切分策略主要适合链式CNN，而不适合GoogleNet和ResNet等块状
了解本专栏 订阅专栏 解锁全文
联邦学习结合协同推理
ZJQ的博客
10-28 208
此外，随着大模型时代的到来，联邦学习可以用于训练大模型，同时大模型也可以用于产生联邦学习所用的训练数据。模型异构联邦学习为实现大小模型之间的知识传递提供了可行方案，但在参数量巨大的模型中确定每部分参数的作用仍然是一项具有挑战性的任务。因此，未来的研究可以关注于如何优化模型参数的选择和分配，以实现更高效的知识传递和模型更新。未来的研究可以借鉴协同推理领域的模型切分优化算法来对联邦分离式学习的性能和能耗等指标进行优化，以实现更加高效和智能的联邦学习框架。此外，随着分离式学习思路的引入，在AIoT应用场景中，
推理和行动协同（Reason and Act，ReAct）和代码生成
数字人生
06-01 1580
推理和行动协同（Reason and Act，简称ReAct）是一种人工智能范式，它结合了推理（Reasoning）和行动（Acting）的能力，旨在让AI系统能够像人类一样，在面对任务时不仅能分析问题、做出决策，还能根据决策执行具体的行动，并基于行动结果反馈进行新一轮的推理和调整。根据推理的结果和生成代码的目标，可以选择不同的行动方式来实现代码生成。值得注意的是，推理和行动协同在代码生成中并不是一种具体的算法或技术，而是一种方法论或框架，可以根据具体的问题和需求来选择和应用适当的推理和行动策略。
模型分割 与 模型分片
Python领域优质萌新学习笔记
09-27 911
在实际应用中，例如PyTorch的完全分片数据并行（Fully Sharded Data Parallel, FSDP）技术，它通过将模型参数和梯度分片到多个GPU上来实现并行处理，每个GPU持有模型的一部分，并在其本地数据上进行前向和后向传播。模型分割可以是水平分割，即将模型的不同层分配到不同的设备上；此外，OneFlow框架提供了大模型分片保存和加载策略，它基于全局视角的概念，利用Placement与SBP完成模型文件在各个物理设备上的切分，适用于当模型大到无法在单个设备的内存或显存上容纳下的场景。
模型分割
weixin_33872660的博客
10-21 722
MESH加载进行分开加进场景树，而不是一个整体，这样利于视椎体裁剪，提高渲染效率，也就能做到3dmax来做为游戏场景编辑器，我只要加载就好了 maya里面的lanbert材质设置了环境光没作用，但是存到文件里了，有些奇怪，可能我maya技术不行    //2016 -12 -10更新 找了个相对较大的模型测试，渲染也不是太吃力     ...
神经协同推理
maotto的博客
02-28 1280
对神经协同推理论文的个人理解
模型切分思路
封狼居胥
11-22 624
CPU 端切分思路 1 将当前场景所有三角形都收集起来. 相当于一个巨大的mesh； 2. 确定好计算平面, 计算所有的三角形和平面的关系. 三角形在平面上的, 放到upperList, 三角形在平面下的, 放到lowerList. 对于和平面相交的, 把三角形切开, 分开保存. 3. 合并起来. 就得到了上下分开的三角形们了 ...
论文浅尝 | 神经协同推理
开放知识图谱
08-09 1440
论文笔记整理：叶橄强，浙江大学计算机学院，知识图谱和知识推理方向。Paper link:https://arxiv.org/abs/2005.08129Github link:htt...
人工智能大模型技术基础系列之：分布式模型存储与加载
AI天才研究院
11-01 511
随着人工智能技术的快速发展，大规模语言模型（Large Language Models, LLMs）如GPT-3、BERT、T5等在自然语言处理领域取得了突破性进展。这些模型通常包含数十亿甚至上千亿个参数，为了有效地存储、加载和推理如此庞大的模型，分布式技术成为了不可或缺的解决方案。本文将深入探讨大模型分布式存储与加载的核心技术，包括模型并行、张量并行、流水线并行等关键概念，以及它们在实际应用中的实现方法和优化策略。
大模型之大模型的开发训练与推理部署
m0_59092412的博客
08-03 1102
在通信优化方面，框架支持自适应的通信拓扑优化技术，可感知硬件集群环境的配置，搜索最优并行策略，支持大模型在不同规模集群下的高效训练，提升模型性能的同时，降低开发者配置高效大模型训练的门槛。这种方案能够快速进行量化，并且具有较高的精度，尤其对访存受限的场景，也拥有较好的效果。为实现大模型的高效训练和推理，需要通过深度学习框架实现与硬件的适配和深度协同优化，通过低成本、高效率的硬件适配方案，提升大模型与硬件的适配效率，并通过混合精度、显存复用、融合优化等软硬件协同优化技术，结合硬件特性实现系统级优化。
大模型的开发训练与推理部署白皮书 2024
lhx17673139267的博客
07-25 1728
随着参数规模和网络结构复杂性的不断提升，大模型开发、训练和推理部署所面临的挑战愈发严峻，其研发依赖算法、算力和数据的综合支撑。**深度学习框架及配套工具为大模型的生产和应用提供了基础支撑，涉及开发、训练、压缩、推理和服务等多个环节。**此外，通过深度学习框架还可以实现与硬件的适配和协同优化，进一步提升硬件的计算和推理性能，降低大模型开发和应用的成本。由于大模型参数规模大，计算和存储的需求显著增加，与辨别式AI 模型相比，非常依赖分布式技术提升效率。
DeepThings 在资源限制的物联网边缘集群中分布式自适应的深度学习推断1
08-04
DeepThings 在资源限制的物联网边缘集群中分布式自适应的深度学习推断1
基于模型划分的云边协同推理算法
最新发布
Java开发，人工智能，边缘计算，致力于掌握前沿技术
10-24 1620
当前，深度神经网络快速发展并广泛应用于各种智能服务行业，如自然语言处理、计算机视觉和语音识别等领域。为了加速DNN模型的推理速度并优化其性能，本文结合SDN技术提出了基于模型划分的云边协同推理算法。该算法能够对动态环境下的边端推理模型进行自适应划分与卸载，通过将传统的DQN算法与SDN的全局视图相结合，得到边端模型的最优划分与卸载策略，构建任务复杂度预测器并结合SDN控制器分配任务执行环境。试验分析表明，与现有推理方法相比，算法的推理时延显著降低。
3D模型切分并分块显示标记
laoki的专栏
04-27 335
项目，包含 点云分块、标记、姿态估计等
云边协同与人工智能AI的深度融合（云端训练、边端推理）
Java开发，人工智能，边缘计算，致力于掌握前沿技术
03-28 8005
云边协同是一种新型计算范式，其将云计算强大的资源能力与边缘计算超低的时延特性结合起来，实现了边缘支撑云端应用，云端助力边缘本地化需求的协同优化目标。AI和边缘计算已获得国内外学术界和工业界的广泛关注和认可，并且已经在很多商业场景下发挥作用。将AI应用部署至边缘已成为提升智能服务的有效途径。尽管目前边缘智能仍处于发展的初期，然而，边缘智能够产生极大的促进效果，并成为各行各业的黏合剂和智能产业发展的催化剂，促进多个行业的升级转型。[1]华为云原生团队：AI 与边缘计算结合的双向优化。
分布式云边协同智能推理方法
tangtangllll的博客
03-16 9670
云边协同的推理机制不同于传统的云边协同，除业务、数据、服务等协同外增加算法协同。算法协同具备算力资源分配、准确率验证、模型分区调用等机制。云边协同的推理机制弥补边缘侧算力不足导致的低准确率现象，避免数据短时增长带来的算力波峰，减少云侧带宽压力，提升服务速率，解决数据不出域问题。有效提高系统稳定性和资源的整体使用效率。
边云协同：大小模型如何协同推理？
Java开发，人工智能，边缘计算，致力于掌握前沿技术
06-19 7941
历史上计算形态经历了几次重要变化。当本地计算成本低于通信成本时，计算模式由分时共享机制迅速转变为本地计算完成方式；当网络技术进步使得通信成本远低于计算成本时，开始出现由本地计算向云计算的过渡。随着硬件成本降低、计算能力提升、通信带宽飞跃、传感器感知能力进化等技术进步持续发生，传统计算长久以“算力为王”的模式来部署完成，即任务汇聚到大型机上集中处理，而后分散到用户终端设备处理，再然后相当一部分的计算任务重新汇聚到云计算中心处理。
端边云协作推理相关论文总结
librahfacebook的博客
08-18 5404
Papers About End-Edge-Cloud Collaborative Inference 文章目录Papers About End-Edge-Cloud Collaborative InferencePart 1: Edge ComputingPart 2: Model CompressingPart 3: Reinforcement LearningReferences Par...
面向端边协同分类推理任务的语义隐私保护机制研究
边缘计算社区
09-26 458
面向端边协同分类推理任务的语义隐私保护机制研究1.研究背景近年来，端边协同的深度神经网络推理（Device-Edge Collaborative Deep Neural Network Inference，简称DNN Co-inference）技术备受瞩目，已广泛运用于多种基于神经网络的编码器-解码器结构语义通信框架。该技术的核心思想是将深度神经网络分段部署在终端设备和边缘服务器上，以提高推理任...
切分矩阵的方式：优化深度学习模型训练的关键技巧
qq_40427481的博客
10-25 200
切分矩阵的方式技术作为解决大规模深度学习模型训练的有效方法之一，通过将模型参数分割成多个矩阵，并将每个矩阵分配到不同的GPU上进行计算，可以提高计算效率和内存利用率。未来，随着硬件和算法的不断发展，切分矩阵的方式技术有望进一步提高模型训练的效率和性能，为深度学习的发展带来更多的可能性和机遇。切分矩阵的方式的基本原理 切分矩阵的方式是一种将模型参数分割成多个矩阵，并将每个矩阵分配到不同的GPU上进行计算的技术。随着深度学习模型的不断发展，模型的规模和复杂度也在不断增加，这对计算资源和内存提出了更高的要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值