深度学习系列58:大模型训练和压缩

已于 2024-02-18 08:46:29 修改
阅读量233 收藏 1
点赞数 2
分类专栏： 深度学习系列 文章标签： 深度学习 人工智能
于 2024-02-18 08:19:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kittyzc/article/details/136140885
版权
本文探讨了大模型训练中的关键优化技术，包括数据并行、模型并行、ZeRO优化、流水线并行、混合精度训练，以及梯度offloading、overlapping等高效策略。同时涉及模型压缩方法如知识蒸馏、剪枝、量化和weightsharing，以及low-rankapproximation的应用，以及BMCook软件在实践中的角色。
摘要由CSDN通过智能技术生成

1. 大模型训练

1.1数据并行

在这里插入图片描述

1.2 模型并行

在这里插入图片描述
在这里插入图片描述

1.3 ZeRO

在这里插入图片描述

1.4 流水线并行

在这里插入图片描述

1.5 混合精度训练

在这里插入图片描述

在这里插入图片描述

1.6 offloading

把梯度放在cpu上保存和计算
在这里插入图片描述

1.7 overlapping

提前传输数据
在这里插入图片描述

1.8 checkpointing

中间线性层不保存，反向传播时再次重新计算
在这里插入图片描述

1.9 使用BMtrain

在这里插入图片描述

2. 大模型压缩

2.1 知识蒸馏

在这里插入图片描述

2.2 模型剪枝

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3 模型量化

在这里插入图片描述

2.4 weight sharing

不同层使用同样的层进行计算
在这里插入图片描述

2.5 low-rank approximation

在这里插入图片描述
在这里插入图片描述

2.6 BMCook软件

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

IE06
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
多模态大模型：技术原理与实战 模型压缩实战
AI大模型应用之禅
05-26 542
1. 背景介绍 近年来，多模态大模型（Multimodal Big Models,MBMs）在计算机视觉、自然语言处理和人工智能等领域取得了显著的进展。这些模型可以处理不同类型的输入，如图像、文本和音频等。然而，在实际应用中，模型的复杂性和大规模参数要求使得部署和推理变得非常昂贵和低效。因此，模型压缩（Model Compression）成为一个关键
大模型系统和应用——高效训练&模型压缩
日积月累，天道酬勤
10-05 2776
主要介绍了针对大模型进行的一些高效训练和模型压缩技术。
大模型的压缩/微调方法
zephyr_wang的博客
06-30 2795
大模型微调
“大模型压缩神器”？十亿参数，一键瘦身！狂掉75%
深度学习技术前沿
07-02 657
作者：英特尔公司陆崟彤何欣郭恒程文华王畅王梦妮沈海豪编辑：新智元本文介绍了可提升大语言模型的训练后量化表现的增强型 SmoothQuant 技术，说明了这项技术的用法，并证明了其在准确率方面的优势。此方法已整合至英特尔®Neural Compressor(1)中。英特尔®Neural Compressor 是一个包含量化、剪枝（稀疏性）、蒸馏（知识提炼）和神经架构搜索等多种常...
模型压缩(Model compression)
starlight1231的博客
02-06 904
模型压缩
面向大规模神经网络的模型压缩和加速方法【方法介绍】【相关工作】
SmartLab307的博客
10-31 363
随着科学研究与生产实践相结合需求的与日俱增，模型压缩和加速成为当前的热门研究方向之一。本文旨在对一些常见的模型压缩和模型加速方法进行简单介绍（每小节末尾都整理了一些相关工作，感兴趣的小伙伴欢迎查阅）。这些方法可以减少模型中存在的冗余，将复杂模型转化成更轻量的模型。本文涉及方法的主要类别有：知识蒸馏、高效网络结构设计、条件计算、模型剪枝、参数共享、量化。
深度学习流程全解析：从模型训练到评估
最新发布
07-03
深度学习流程全解析：从模型训练到评估
深度学习相关的模型训练、评估和预测相关代码
02-12
基于Tensorflow高阶API构建大规模分布式深度学习模型系列: 自定义Estimator（以文本分类CNN模型为例） 基于Tensorflow高阶API构建大规模分布式深度学习模型系列:特征工程 Feature Column 基于Tensorflow高阶API构建...
人工智能与机器学习 技术关键词： TensorFlow 内容关键词： 深度学习框架 用途： 构建和训练复杂的神经网络模型
04-04
对资源的描述： 这是一个详尽的在线教程系列，涵盖了使用TensorFlow深度学习框架的基础知识和高级应用。它提供了丰富的代码示例、最佳实践和性能优化技巧，旨在帮助开发者从模型原型设计到生产级部署的全过程。
深度学习与大模型综述（文献综述）
06-09
首先介绍深度学习的基本原理和发展历程，分析概述深度学习基本模型，重点探讨深度神经网络的结构、训练方法以及优化技术，对前馈神经网络、反馈神经网络以及双向神经网络的代表性深度神经网络模型进行分析，解释其...
深度学习模型训练--以pytorch为例.pptx
06-24
深度学习模型训练是人工智能领域中的核心任务，PyTorch是一个广泛应用的深度学习框架，它提供了丰富的功能和灵活性，便于研究人员和工程师构建和训练复杂的模型。本篇将详细讲解基于PyTorch的深度学习模型训练过程，...
最近，大模型岗位爆了。。。
2301_82275412的博客
04-29 537
重磅消息，国资委打响了国内AI第一枪！这意味着传统行业又迎来了一次大洗牌，现在国内头部人工智能公司已经开始用AI数字人助力各行各业，。除此之外，知名大厂也都在布局AI市场。懂的程序员年薪已经翻到风口之下，与其焦虑被行业淘汰，不如先人一步掌握 AI 大模型技术。为帮助大家提升竞争力，为了帮助普通程序员享受时代红利，掌控AI大模型技术，成为超级个体，给大家带来了AI大模型全套资料。
大模型压缩与优化的技术原理与创新方法
cooldream2009的博客
01-16 1794
随着大模型规模的迅猛增长，每年以指数级的速度增加，对计算资源和存储空间提出了巨大的挑战。为了在保持模型性能的基础上降低开销，研究者们提出了多种模型压缩与优化的方法。本文将深入探讨模型剪枝、知识蒸馏、模型量化以及其他压缩方法，并介绍了架构搜索的新颖思路。
模型压缩技术综述
weixin_42010722的博客
03-08 1780
当今，随着深度学习技术的不断进步，越来越多的大型多模态模型被应用于自然语言处理、计算机视觉等领域。然而，这些模型往往需要数十亿甚至上百亿的参数，不仅训练时间长、计算资源消耗大，而且在实际应用中也会受到硬件、网络等因素的限制。因此，如何对这些大型模型进行压缩，成为了一个备受关注的研究方向。模型压缩不仅可以缩短训练时间、降低计算资源消耗，还可以提高模型在移动设备等资源有限的场景下的应用性能。本文将介绍一些常用的模型压缩方法，以及它们在大型多模态模型上的应用。
详解4种模型压缩技术、模型蒸馏算法
woaimx_1314的博客
06-19 2861
理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。同时，在部署时，大模型预测速度较低且需要更好的硬件支持。首先是速度，比如像人脸闸机、人脸解锁手机等应用，对响应速度比较敏感，需要做到实时响应。其次是存储，比如电网周边环境监测这个应用场景中，要图像目标检测模型部署在可用内存只有200M的监控设备上，且当监控程序运行后，剩余内存会小于30M。最后是耗能，离线翻译这种移动设备内置AI模型的能耗直接决定了它的续航能力。
【模型压缩】模型压缩的几种方式概述
All_In_gzx_cc的博客
01-26 1535
如同前面提到的，我们希望将一个强大复杂的AI模型减量、压缩后，得到一个迷你、简单的模型，但仍要能维持原有的推论精度或者只有些微（0%到指定%）的下降，就像我们平常看到的JPG影像、MP4影片，虽然采大幅度破坏性压缩，但人眼是很难分辨其品质差异的。这样可以得到几项好处，包括。（FP8， e5m2， e4m3， 1 Byte）在推论时其精度下降幅度可控制在一定程度内，同时可让储存空间和内存使用量减少1/2到3/4，若加上有支持SIMD或平行运算指令集[1]还可让运算量提升1.x ~ 3.x倍，一举多得。
模型压缩：减小模型大小的技术
禅与计算机程序设计艺术
03-22 813
《"模型压缩：减小模型大小的技术"》 1. 背景介绍 随着计算机技术的发展和机器学习模型日益复杂的趋势，模型体积不断变大，在部署和应用中给带来了诸多挑战。模型压缩技术应运而生，旨在在保持模型性能的前提下，有效地减小模型的体积和复杂度。这种技术在移动端设备、嵌入式系统等资源受限环境中尤为重要和关键。 本文
深度学习模型压缩：创新实践与技术探索
华为的TinyBERT进一步展示了模型压缩的巨大潜力，它比BERT小8倍，推理速度提升10倍，证明了深度学习模型可以在保持高效性能的同时，实现极大幅度的压缩，这对于云端和边缘计算的部署具有重要意义。 总体而言，深度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值