如何在手机端部署大型扩散模型？

已于 2023-05-05 10:29:05 修改
阅读量1.1k 收藏 6
点赞数 7
分类专栏： Diffusion Models与深度学习 模型部署 文章标签： 深度学习 人工智能 扩散模型 diffusion diffusion model
于 2023-05-04 07:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/130439064
版权
本文探讨了如何在手机端部署大型扩散模型，通过Group Norm and GELU、提高Attention Module效率、Winograd卷积等优化手段，实现在GPU驱动的移动设备上高效运行。在三星S23 Ultra和iPhone 14 Pro Max上，模型的延迟显著降低，展示了端侧部署大型扩散模型的可能性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Diffusion Models专栏文章汇总：入门与实战

前言：部署扩散模型面临着两个棘手的挑战：参数过大和推理时间过长，因此目前想在手机端用上扩散模型看似“奢不可求”。最近谷歌研究院的最新一项研究研究了如何把端侧部署大型扩散模型的梦想变成现实，这篇博客就和大家一起学习一下。

目录

贡献概述

方法详解

stable diffusion的组成

优化手段一：Group Norm and GELU

优化手段二：提高Attention Module的效率

优化手段三：Winograd Convolution

实验结果

论文和代码

论文地址

代码地址

个人思考

贡献概述

常见的大型扩散模型具有超过10亿个参数，并且由于设备上有限的计算和内存资源而带来挑战。作者提出了一系列针对大型扩散模型的实现优化，这些模型在配备gpu的移动设备上实现了最快推理延迟(对于512 × 512图像，在没有INT8量化的情况下，Stable diffusion 1.4在12秒内实现了20次迭代)。具体是

了解本专栏 订阅专栏 解锁全文 超级会员免费看
在手机上部署大型扩散模型的方法及示例代码
PlHtml的博客
09-27 288
模型训练和转换：在选择好模型后，需要使用合适的数据集进行训练。总结起来，在手机上部署大型扩散模型需要选择适合移动设备的模型架构，并经过训练和转换的步骤，最后将模型集成到移动应用中。通过优化模型和使用合适的技术手段，可以在手机上实现高效的扩散模型部署。需要注意的是，大型扩散模型的部署可能会对手机的计算资源和存储空间造成一定的压力。为了提供更好的用户体验，可以考虑使用异步推理、模型分片等技术来优化模型的执行性能和内存占用。随着移动设备计算能力的提升，越来越多的应用需要在手机端部署大型扩散模型。
2023年Diffusion Models还有哪些方向值得研究(好发论文)？
沉迷单车的追风少年
05-07 5944
笔者follow扩散模型的科研进展已经将近2年了，见证了diffusion从无人问津到炙手可热的过程。当下扩散模型还有哪些缺点？还有哪些需要改进的方向？还有哪些方向值得研究？还有哪些方向好发论文？针对这些问题博主给出一些自己的见解，欢迎大家在评论区多多讨论！
MLC LLM：将大模型运行在手机端的部署工具
小鹏AI
05-01 4998
MLC LLM依赖于开源生态系统，更具体地说，是 TVM Unity，这是 TVM 项目中一个令人兴奋的最新发展，它支持 Python 优先的交互式 MLC 开发体验，使我们能够轻松地用 Python 编写新的优化，并逐步将我们的应用带到感兴趣的环境中。利用优化，如融合量化内核，一流的动态形状支持和不同的 GPU 后端。提供了一个轻量级的基于 C + + 的示例 CLI 应用程序，它展示了如何包装已编译的构件和必要的预/后处理，这将有望澄清工作流程，以便将它们嵌入到本地应用程序中。
太酷了！手机上部署最新AI大模型！只需2步！
2301_82275412的博客
05-11 2302
我们不禁感慨，虽然目前AI的实际应用仍显得零星，但技术的发展确实需要时间的积累。大型模型的昂贵推理成本无疑限制了其广泛的推广和应用。然而，正是像Llama 3和Phi3这样的小模型的崭露头角，让我们看到了大型模型实用化的希望。虽然小模型的训练成本相对较高，但它们低廉的推理成本为整体经济带来了显著的节省，尤其是在为海量用户提供服务时，高性能的小模型让AI摆脱了成本的束缚，更加灵活地应用于各种场景。想象一下，如果我们能够根据自己的需求在本地部署定制化的AI，那种魅力将是无法言喻的！
无需网络，轻松在手机上离线布署本地大模型
m0_56255097的博客
11-16 8125
一旦模型加载完成，进入“聊天”页面并开始与加载的模型对话！生成性能指标也会显示。如果感兴趣，可以通过观察聊天气泡查看实时性能指标：每秒令牌数和每个令牌的毫秒数。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源。
无需网络，手机上轻松部署本地大模型
2401_85390073的博客
12-22 3906
一旦模型加载完成，进入“聊天”页面并开始与加载的模型对话！生成性能指标也会显示。如果感兴趣，可以通过观察聊天气泡查看实时性能指标：每秒令牌数和每个令牌的毫秒数。
牛！手机上轻松部署大模型全攻略！
python1222_的博客
06-12 3121
尽管当前AI的落地应用尚显稀疏，但技术的成长毕竟需要时间，大型模型的高昂推理成本无疑是其普及的桎梏。然而，**正是小模型如Llama 3和Phi3的崭露头角，让我们看到了大模型实用化的曙光。**虽然小模型的训练成本较高，但其低廉的推理成本却为整体经济带来显著的节省，特别是在为海量用户提供服务时，高性能的小模型更让AI挣脱了成本的束缚，灵活应用于各种场景。想象一下，能够根据自身需求在本地部署定制化的AI，其魅力不言而喻！
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
Stability AI开源文本到音频生成模型；字节跳动强大的TTS；可在手机上部署的多模态大模型；小爱音箱接入gpt
haleycat的博客
06-06 1918
Stable Audio Open是一个开源的文本到音频生成模型，可生成长达47秒的音频样本和音效。Stable Audio Open 是由Stability AI发布的一款开源模型，专门用于生成短音频样本和音效。这个模型能够根据文本提示生成最高47秒的音频数据，适用于创建鼓点、乐器片段、环境音效、拟音录音和其他音乐制作元素。Stable Audio Open 主要面向声音设计师、音乐人和创意社区，允许用户在自定义音频数据上进行微调，从而生成新的音频样本。
谷歌优化扩散模型！在三星手机上运行Stable Diffusion，12秒内出图！
阿木寺的博客
04-28 1304
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【扩散模型】微信技术交流群转载自：机器之心 |编辑：陈萍、小舟SpeedIs All You Need：谷歌提出针对 Stable Diffusion 一些优化建议，生成图片速度快速提升。Stable Diffusion 在图像生成领域的知名度不亚于对话大模型中的 ChatGPT。其能够在几十秒内为任何给定的...
yolo11笔记（3）——移动端部署自己的模型（GPU_cuda系列）
weixin_45569617的博客
08-21 3万+
1. 标注数据 标注文件参考我之前的文章2020年tensorflow定制训练模型笔记（2）——制作标签中的第二步“2.labelimg” 注意 有一点不一样！ 之前我们的数据保存的是xml格式，而yolo支持的是txt格式。 所以我们在保存的时候要点击下图红色选框，这样就能保存为txt格式。 2. 配置文件 配置文件路径 配置数据的yaml文件 配置模型的yaml文件 3. 开始训练 ...
yolov5 移动端模型部署(ncnn,tflite,paddlelite等）
hdf521999的博客
04-10 1万+
yolov5部署安卓移动端模型部署(ncnn,tflite,paddlelite等）
移动端深度学习模型部署框架ncnn介绍
修炼之路
05-02 3895
导读 当我们把深度学习模型训练好之后，想要基于深度学习模型来开发实际应用的时候，主要有三种不同的应用场景移动端、桌面端和服务器端。 移动端部署：我们将模型封装成SDK给Android和IOS调用，由于移动端算力有限通常还需要考虑基于移动端CPU或GPU框架的优化问题来提速。如果模型要求的算力比较大，就只能考虑以API的形式来调用了，这时候模型是部署在服务器上的。 桌面端：桌面应用主要包括Windows和Mac OS以及Linux，这时候我们还是需要将模型封装成SDK然后提供接口来进行调用。Windows将
算法模型在移动端的部署
一行一生
11-05 4680
现阶段 app 上使用的算法模型主要有两种模式： Online 方式 首先在移动端做初步预处理，然后把数据传到服务器进行预测后返回移动端。 优点：部署相对简单，现成的框架（caffe，theano，mxnet，Torch) 做下封装就可以直接拿来用；使用服务器进行计算，性能强，能够处理比较大的模型 缺点：必须使用网络，而且展示效果依赖网速，不适合实时性要求高的应用。 Offline 方式 根据硬件的性能选择模型，在服务器训练得到模型，在手机上进行预测的过程。 优点：不需要使用网络，可以保护隐...
深度学习_模型压缩及移动端部署_模型压缩及移动端部署基础知识（持续更新）
欢迎大家关注我
03-17 1201
为什么要模型压缩？ 深度神经网络模型需要巨大的计算开销和内存开销，严重阻碍了资源不足情况下的使用。 模型的参数在一定程度上能够表达其复杂性，但并不是所有的参数都在模型中发挥作用，部分参数作用有限、表达冗余，甚至会降低模型的性能。 复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗使其难以有效的应用在各硬件平台上。 模型压缩定义 模型压缩：指利用数据集对已经训练好的深度模型进行精简，...
深度学习模型在移动端的部署
智云视图的博客
04-27 2万+
简介 自从 AlphaGo 出现以来，机器学习无疑是当今最火热的话题，而深度学习也成了机器学习领域内的热点，现在人工智能、大数据更是越来越贴近我们的日常生活，越来越多的人工智能应用开始在移植到移动端上，那能够快速高效地在移动端部署深度学习模型就变成亟待解决的问题了。 现阶段 app 上使用的深度学习主要有两种模式： Online 方式 首先在移动端做初步预处理，然后把数据传到服务器进行预测后返回移...
Tensorflow实现Android移动端的模型搭建
马建杰的博客
06-04 1663
转自http://www.zhimengzhe.com/Androidkaifa/298339.htmlTensorflow实现Android移动端的模型搭建概述 随着深度学习的广泛应用和Tensoflow的开源，移动端的模型应用层出不穷。本文介绍了笔者在搭建过程中的一些心得，希望可以帮助到你们。 Mac端Tensorflow CPU版本的安装 如果你现在用的没有太好的GPU，可以安装CPU on...
如何将模型部署到安卓移动端，这里有一份简单教程
机器之心
07-18 1万+
本文介绍了如何利用 TensorFlow Mobile 将 PyTorch 和 Keras 模型部署到安卓移动端。截至 2018 年，全球活跃的安卓设备已经超过了 20 亿部。安卓手机的迅速普及在很大程度上得益于各种各样的智能应用，从地图到图片编辑器无所不有。随着深度学习技术的兴起，移动应用注定会变得更加智能。深度学习加持下的下一代移动应用将专门为你学习和定制功能。微软的「SwiftKey」就是一...
深度学习新趋势：利用MLP取代卷积层——S2-MLPv2模型解析
最新发布
qq_18943707的博客
04-27 435
从学术研究到工业应用，深度学习的演进从未停歇。S2-MLPv2的成功展示了一条新的可能性道路——用更灵活高效的模型结构来应对复杂的现实任务。面对未来，让我们保持敏锐的洞察和探索的热情，在这条创新驱动的路上不断前行。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值