diffusers SD推理加速方案的调研实践总结

于 2024-04-26 16:20:36 发布
阅读量1.8k 收藏 36
点赞数 31
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Taobaojishu/article/details/138236898
版权
文章详细介绍了在内容技术灵媒智算平台MVAP上，针对SD系列模型的推理速度提升需求，对算子优化、模型编译、模型缓存和模型蒸馏等加速方案进行的调研与测试。实验结果显示，oneflow和DeepCache在多数情况下表现出色，尤其适用于AI试衣业务场景，尽管oneflow存在一些限制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

5600a8d54c5297162455035920c3f9a8.gif

近期，在我们的内容技术灵媒智算平台（MVAP）上部署的服务数量提升迅猛，部分业务场景对SD系列模型的推理速度有着一定的要求。因此，我们对当前较为流行的SD加速方式进行了调研与测试，并以AI试衣业务场景为例，尝试了多种加速方案。下面是对调研结果与实际落地效果的一些总结与分享。

fe7065cf875caaefce3bb09903fd35f2.png

加速方案介绍

目前主流的加速思路包含算子优化、模型编译、模型缓存、模型蒸馏等，下面将简要介绍一下几种测试中用到的有一定代表性的开源方案。

▐  算子优化：FlashAttention2

主要针对transformer中的attention模块进行优化。FlashAttention改变了常规的attention计算方式，将完整的attention计算融合到单个cuda kernel中，并结合了前向tiling与反向recompute技巧；FlashAttention2在此基础上进一步减少了冗余计算，并加强了前向与反向过程中的并行计算，从而降低显存占用和计算耗时。由于效果很好且受到广泛使用，FlashAttention2已被集成到pytorch2.2之后的版本中。

▐  模型编译：oneflow / stable-fast

oneflow通过将模型编译为静态图，结合oneflow.nn.Graph内置的算子融合等加速策略，实现对模型推理的加速。优势在于对于基础SD模型只需一行编译代码即可完成加速、加速效果明显、生成效果差异小、可以结合其他加速方案（如deepcache）使用以及官方更新频率高等。缺点放到后面再说。

stable-fast也是基于模型编译的加速库，并结合了一系列算子融合的加速方法，但它的性能优化依赖于xformer、triton、torch.jit等工具。

▐  模型缓存：deepcache

SD模型的常规推理过程包含很多步unet计算（我们在基础模型测试中设置的步数为50），而deepcache的作者发现相邻步数的unet在深层特征上只有极其微小的变化，为了避免重复计算这些冗余的深层特征，deepcache只在部分步骤执行完整计算，并缓存深层特征的计算结果；对于剩余的步骤，则仅计算浅层特征，并结合最近的缓存特征结果。这一过程相当于跳过了unet网络中的大部分层，因此能够显著降低计算量。

deepcache在diffusers框架中的使用非常方便，并且可以根据实际情况设置使用缓存的最深层及使用缓存的步数间隔（这里也可以使用非均匀分布的策略，根据不同步数的冗余程度设置不同的间隔），自行在推理速度与生成质量之间进行权衡。

3938430bf533d8c523d55fb02bb0c081.png

▐  模型蒸馏：lcm-lora

结合了lcm（Latent Consistency Model）与lora，lcm会对整个sd模型进行蒸馏，从而实现少步数推理，而lcm-lora借助了lora的形式，只对lora部分进行优化，这样既能够实现加速，也可以直接与常规的lora使用相结合。

c0531e9929930294ab06d17c40bac9cc.png

SD1.5加速测试

基于被广泛使用的diffusers框架，主要测试的加速手段包括oneflow、stable-fast、deepcache以及diffusers官方推荐的一些方法等。同时，也对controlnet使用场景下的加速效果进行了测试。

▐  测试环境

A10 + cu118 + py310 + torch2.0.1 + diffusers0.26.3

文生图，prompt："A photo of a cat. Focus light and create sharp, defined edges."


▐  测试结果

  1. 通过固定seed的方式对生成的图片进行对比，可以发现oneflow编译能够降低rt 40%以上，且精度几乎没有损失，但在使用新的pipeline初次生成图片时，需要几十秒的编译时间作为warmup

  2. deepcache能够在此基础上额外降低15%~25%的rt，但同时随着缓存间隔的增大，生成效果差异也越来越明显

  3. oneflow对使用了controlnet的SD1.5模型也同样有效

  4. stable-fast对外部包的依赖比较严重，容易出现各种版本问题和外部工具报错，与oneflow类似，初次生成图片需要一定的编译时间，最终的加速效果也略逊于oneflow

▐  详细对比数据

优化方法

平均生成耗时（秒）

512*512，50step

加速效果

生成效果1

生成效果2

生成效果3

diffusers

3.3701

0

be072d3bc1de6bf129c9001e00d644f7.png

185a5952d0f12d114aacdfe5ed45bc37.png


diffusers+bf16

3.3669

≈0

47823cb606b73ea26916e01161311dfe.png

c55c08a40f9e0c53e7ac7157b23c299e.png


diffusers+controlnet

4.7452




e3d6fc55555c9c9ba51013b62e2ae915.png

diffusers+oneflow编译

1.9857

41.08%

a801a643872a5b634cb6742605c655df.png

f4ebc4c3e5f8c4b034672c3d91ea71f4.png


diffusers+oneflow编译+controlnet

2.8017




3e1a3bb9a039a8df7e090ceedf1f5f58.png

diffusers+oneflow编译+deepcache

interval=2：1.4581

56.73%(15.65%)

22b743c67ee83a7430f2cbcb88fd9868.png

e1339087b288c8f750b1b0e50c92d7bd.png


interval=3：1.3027

61.35%(20.27%)

6b506ba4590c5f57ec3e989b0d2fa9a4.png

0730d3e87b39fbd3acd9d95b49d9eee1.png


interval=5：1.1583

65.63%(24.55%)

007803577bf082f675f1133e249650cf.png

bdfc5619b3a4545d96cfd54631f8d3eb.png


diffusers+sfast

2.3799

29.38%




05624ab0d7ec24455f01b4eb8a68d34f.png

SDXL加速测试

与SD1.5不同，这一部分主要测试了lora使用场景下oneflow、deepcache、lcm-lora的优化效果。

▐  测试环境

A10 + cu118 + py310 + torch2.0.1 + diffusers0.26.3

文生图，prompt："A photo of a cat. Focus light and create sharp, defined edges."

▐  测试结果

基础sdxl模型：

  1. sdxl模型在固定seed的条件下，使用不同的加速方案似乎更容易影响生成图片的效果

  2. oneflow只能降低24%的rt，但仍然能保证生成图片的精度

  3. deepcache能够提供极其显著的加速，interval为2（即缓存只使用一次）时rt降低42%，interval为5时rt降低69%，但生成图片差异也很明显

  4. lcm-lora显著降低了生图所需步数，能够极大程度地实现推理加速，但在使用预训练权重的情况下，稳定性极差，对步数非常敏感，无法保证稳定产出符合要求的图片

  5. oneflow与deepcache/lcm-lora可以很好地结合起来使用

lora：

  1. 加载lora后，diffusers的推理速度明显降低，降低幅度与使用lora的类型和数量有关

  2. deepcache依然有效，也依然存在精度问题，但在缓存间隔较低的情况下差异不大

  3. 使用lora的情况下，oneflow编译无法固定seed以保持与原版本一致

  4. oneflow编译优化了加载lora后的推理速度，加载多个lora时，推理rt与未加载lora时相差不大，加速效果极其显著。例如，同时使用yarn+watercolor两个lora，rt能够降低约65%

  5. oneflow对lora加载耗时有较小幅度的优化，但加载lora之后的设置操作耗时增加了

▐  详细对比数据

优化方法

lora

平均生成耗时（秒）512*512，50step

lora加载耗时（秒）

lora修改耗时（秒）

效果1

效果2

效果3

diffusers

无

4.5713



b1dbc59ab01ac78a4cbc3bc83be15afe.png



yarn

7.6641

13.9235

11.0447

0.06~0.09

根据配置的lora数量




watercolor

7.0263




yarn+watercolor

10.1402


9dc80ae2b128fcdff66b09e5e54c017c.png


diffusers+bf16

无

4.6610



4f0217fa1b403622d2835b724f06b7b6.png



yarn

7.6367

12.6095

11.1033

0.06~0.09

根据配置的lora数量




watercolor

7.0192




yarn+ watercolor

10.0729




diffusers+deepcache

无

interval=2：2.6402



2aa6bc2e41885cc1f402886da4eb3bc3.png



yarn

interval=2：4.6076






watercolor

interval=2：4.3953




yarn+ watercolor

interval=2：5.9759


482d92e3988f914a3dc786c8b82631fb.png


无

interval=5：

1.4068

956d65facb4e5cf687dabdfc95eaad4d.png



yarn

interval=5：2.7706




watercolor

interval=5：2.8226




yarn+watercolor

interval=5：3.4852


c05f847a9dcffaca76c0f9c10624f421.png


diffusers+oneflow编译

无

3.4745



c9d205efed13057b4ac51831dcb07b03.png



yarn

3.5109

11.7784

10.3166

0.5左右

移除lora 0.17




watercolor

3.5483




yarn+watercolor

3.5559



a952f738799021cf92b5d25d2e13f685.png

diffusers+oneflow编译+deepcache

无

interval=2：1.8972

baca0b22d5e8f828ac8b927f0e0ca7f8.png



yarn

interval=2：1.9149




watercolor

interval=2：1.9474




yarn+watercolor

interval=2：1.9647



f891507499f042f9b95c5c0ae5dbfe71.png

无

interval=5：0.9817

238fbaacf434e3768a83b54ae58e645d.png



yarn

interval=5：0.9915




watercolor

interval=5：1.0108




yarn+watercolor

interval=5：1.0107



1384c0b925268b2c3d89718f65063db2.png

diffusers+lcm-lora


4step：0.6113






diffusers+oneflow编译+lcm-lora


4step：0.4488






0529690f9ac7fadb2cd098026c265304.jpeg

应用：AI试衣加速

AI试衣业务场景使用了算法在diffusers框架基础上改造的专用pipeline，功能为根据待替换服饰图对原模特图进行换衣，基础模型为SD2.1。

根据调研的结果，deepcache与oneflow是优先考虑的加速方案，同时，由于pytorch版本较低，也可以尝试使用较新版本的pytorch进行加速。

▐  测试环境

A10 + cu118 + py310 + torch2.0.1 + diffusers0.21.4

图生图（示意图，仅供参考）：

待替换服饰

原模特图

41dc360c7c45b398bafa5b6e88f5976b.jpeg

bfb74b08f285b8bff270b65a91b56cd3.png

▐  测试结果

  1. pytorch2.2版本集成了FlashAttention2，更新版本后，推理加速效果明显

  2. deepcache仍然有效，为了尽量不损失精度，可设置interval为2或3

  3. 对于被“魔改”的pipeline和子模型，oneflow的图转换功能无法处理部分操作，如使用闭包函数替换forward、使用布尔索引等，而且很多错误原因较难通过报错信息来定位。在进行详细的排查之后，我们尝试了改造原模型代码，对其中不被支持的操作进行替换，虽然成功地在没有影响常规生成效果的前提下完成了改造，通过了oneflow编译，但编译后的生成效果很差，可以看出oneflow对pytorch的支持仍然不够完善

  4. 最终采取pytorch2.2.1+deepcache的结合作为加速方案，能够实现rt降低40%~50%、生成效果基本一致且不需要过多改动原服务代码

▐  详细对比数据

优化方法

平均生成耗时（秒）

576*768，25step

生成效果

diffusers

22.7289

9cdd345c1a15622aa24c1bf87cd4eff2.png

diffusers+torch2.2.1

15.5341

d1850300b28691e3881891cb6562f28d.png

diffusers+torch2.2.1+deepcache

11.7734

9e48fc5bef3370f5a38bce179d130571.png

diffusers+oneflow编译

17.5857

8473b2f6cc3953ca0da919ce7004c51c.png

diffusers+deepcache

interval=2：18.0031

9c553eee08ef09b7f0d911cb25bf6bc1.png

interval=3：16.5286

2f083dd153d22e85b4ecb2481cd1f1c4.png

interval=5：15.0359

ade4b4cef745d57376c3fd80e8f5ee54.png

c743d61808a777634f06d2f9e1f4af35.jpeg

总结

目前市面上有很多非常好用的开源模型加速工具，pytorch官方也不断将各种广泛采纳的优化技术整合到最新的版本中。

我们在初期的调研与测试环节尝试了很多加速方案，在排除了部分优化效果不明显、限制较大或效果不稳定的加速方法之后，初步认为deepcache和oneflow是多数情况下的较优解。

但在解决实际线上服务的加速问题时，oneflow表现不太令人满意，虽然oneflow团队针对SD系列模型开发了专用的加速工具包onediff，且一直保持高更新频率，但当前版本的onediff仍存在不小的限制。

如果使用的SD pipeline没有对unet的各种子模块进行复杂修改，oneflow仍然值得尝试；否则，确保pytorch版本为最新的稳定版本以及适度使用deepcache可能是更省心且有效的选择。

e45cf8f82b41dfa617ad62560cac6c0f.jpeg

相关资料

  1. FlashAttention：

  • https://github.com/Dao-AILab/flash-attention

  • https://courses.cs.washington.edu/courses/cse599m/23sp/notes/flashattn.pdf

oneflow

  • https://github.com/Oneflow-Inc/oneflow

  • https://github.com/siliconflow/onediff

stable-fast

  • https://github.com/chengzeyi/stable-fast

deepcache

  • https://github.com/horseee/DeepCache

lcm-lora

  • https://latent-consistency-models.github.io/

pytorch 2.2

https://pytorch.org/blog/pytorch2-2/

a4eecbe97090d57c31da2b017a903f8d.jpeg

团队介绍

我们是淘天集团内容技术AI工程团队，通过搭建完善的算法工程化一站式平台，辅助上千个淘宝图文、视频、直播等泛内容领域算法的工程落地、部署和优化，承接每日上亿级别的数字内容数据，支撑并推动AI技术在淘宝内容社交生态中的广泛应用。

¤ 拓展阅读 ¤

3DXR技术 | 终端技术 | 音视频技术

服务端技术 | 技术质量 | 数据算法

博客
淘系技术，实力为2019年双11而战！稳！
11-12 2万+
今年，双11走到了第11个年头，史无前例的，阿里经济体内有49支技术团队共同参与作战，也是第一次，双11的核心系统将100%跑在云上，这无疑让今年的双11技术作战充满了更大的挑战。正如2019年双11技术团长平畴（汤兴）说的“「善战者，无智名，无勇功」，这是我们技术人最高的境界”。我们一起捍卫了阿里技术人的荣耀，一个字 “稳”！年年双11，回回新玩法，“在吗，盖楼吗？”成为了好友聊天的日常，每天蹲...
博客
2025淘宝春晚互动小游戏技术方案揭秘
04-25 1020
渲染会被中断，从而出现灯不见的情况，并且我们本次春晚为了保障灯笼的清晰度，使用的灯的素材也是高画质，尺寸非常大，尽可能没有压缩，所以在渲染灯时，会更容易出现内存不足情况。的物理引擎，但是由于本次场景中，碰撞的场景不多，并且我们追求极致性能和体验，所以我们本次小游戏的实现中没有使用物理引擎，而是采用更轻量的方案实现，每帧计算碰撞情况。年春节主互动的技术实现，揭秘春晚互动背后复杂的前端方案如何应对高并发与跨端协同的技术挑战，并通过万字长文全面解读春节主互动前端技术的演进与升级。然后，对网格中的每个顶点进行。
博客
读书笔记：淘宝十年产品与技术演进史
04-23 106
打折不是促销，而是立减。“考古”是一个很有意思的事情，因为可以通过一些材料，去回想当时人们的生活环境，遇到的问题，以及如何解决，可以了解前人的智慧，汲取力量。到 2008 年初，整个主站系统（有了机票、彩票系统之后，把原来的系统叫做主站）的容量已经到了瓶颈，商品数在一个亿以上，PV在2.5亿个以上，会员超过了5000万个。这时 Oracle 的连接池数量都不够用了，数据库的容量到了极限，即使上层系统加机器也无法继续扩容，只有把底层的基础服务继续拆分，从底层开始扩容，上层才能扩展，才能容纳以后三五年的增长。
博客
MNN LLM：让你手机本地也能跑 DeepSeek R1 还能支持多模态
04-21 1010
modelscope 用户可以下载后指定 config 文件运行，例如./mls serve -c /Users/songjinde/.cache/modelscope/hub/MNN/DeepSeek-R1-1.5B-Qwen-MNN/config.json。下载完成后，记得在 ~/.mnnmodels 文件夹下找到找到配置文件，设置 config.json 中的 backend 为合适的 backend, 例如 mac 上建议设置 backend 为 `metal`。
博客
AI驱动研发效率在中后台的实践
04-18 979
除了日常的研发辅助类的工具（如：Cursor，Copilot类产品）以外，希望能针对业务特色的痛点和专属场景，在现有流程上进行定制，不仅仅是辅助编码，更是的研发模式的升级和和扩展。我们统计了团队内部的同学在一线业务需求研发的过程中，研发流程各个阶段的耗时比例，统计的方式主要是通过一线开发同学的主观反馈，因为一个需求研发过程并不是连贯的，大部分的同学手里同时都在做多个需求，并且也会由于各种客观原因，比如需求发生调整，业务以来信息还没有准备完成，人员抽调等等，很难进行精确的时效统计。
博客
2025 AI驱动研发工具对比丨独立测评
04-16 818
这一类的产品AI驱动的全栈Web开发工具,主要是将大模型与浏览器内开发环境集成，适合新手或喜欢简洁界面的用户，提供直观易懂的操作界面，有的产品专注于UI设计实现，便于快速完成产品原型设计,非常适合前端开发者和设计师。相信绝大部分的开发者接触的第一款AI研发工具都是copilot，在第一次使用时候带来的那种震撼的感觉，但是随着时间的发展，copilot似乎没有很好的维持自己的先发优势，开源的竞品在产品力和出码效果上都紧追不舍。其基于浏览器的环境简化了工作流程，尽管它可能面临非常复杂的项目的限制。
博客
基于AIGC技术的营销短视频生产方案及业务实践
04-14 956
在过去的几年团队持续以技术驱动产品和商业创新，在给业务创造价值的同时，也在Agent、可控图文、视频生成，多模态统一大模型等最前沿的技术领域也有着广泛布局和深度探索，在NIPS，CVPR，ICLR等顶会发表了数十篇论文，欢迎对团队技术工作感兴趣的同学进行交流。我们需要解决的问题是将冗长的5-10分钟直播看点视频高效转化为更精简、更具吸引力的短视频，同时结合商品的丰富信息，例如主图、主图视频及其他相关可用素材，以进一步增强视频的营销效果。对此，我们结合了视频画面信息，以进行更精细的裁剪。
博客
淘宝质量保障之主动预警能力建设
04-09 901
接着，文章介绍了预警流程的设计，借鉴。部分开发在配置平台中配置了时间字段，因此时间过期也是需要预警的问题，这个核心解法是通过全量扫描制定应用的配置平台配置中的关键字，如time，date等，发现配置的Key和value中存在此字段，就解析对应的值，来检查是否满足过期告警时间。在业务的质量保障过程中，主动预警是较为重要的一项，可以帮助我们提前发现问题，尤其是权益过期，库存耗尽，资源位过期等问题，等到监控发现时再恢复，再快也快不过提前预警，因此，我们探索在业务各个方面实现主动预警监控的能力。
博客
基于Flow-matching的扩散模型原理解读
04-07 934
虽然我们不在此证明该公式，但可以从物理直观上理解：在微观层面上，空气中每一点处的空气分子的运动方向和速度是随机的（可以用一个随机微分方程描述），但是在宏观上可以用统一的“风速场”进行描述（可以用常微分方程描述）。在过去的几年团队持续以技术驱动产品和商业创新，在给业务创造价值的同时，也在Agent、可控图文、视频生成，多模态统一大模型等最前沿的技术领域也有着广泛布局和深度探索，在NIPS，CVPR，ICLR等顶会发表了数十篇论文，欢迎对团队技术工作感兴趣的同学进行交流。描述了变换过程中空间伸缩的程度。
博客
虚拟线程/有栈协程对于Java的意义
04-02 1105
但是 java 的虚拟线程并不是完美的，假设有某种场景，使得虚拟线程挂载在载体线程上，而无法卸载（称之为pin），而此时，虚拟线程调用了阻塞IO被阻塞，那么载体线程也将会被阻塞。后来随着多核技术的兴起，Linux 也提供了多线程的能力，这时“绿色”线程的劣势就暴露出来了，它本质上还是只能使用操作系统的单核进行并发，无法充分利用多核进行并行操作，并且所有的线程阻塞、调度逻辑都需要由 java 实现，而不能使用操作系统的能力。同理，在协程中，关键问题就在于怎么存储、恢复、切换协程的上下文。
博客
音频生成技术探索与淘宝域实践
03-31 837
在过去的几年团队持续以技术驱动产品和商业创新，在给业务创造价值的同时，也在Agent、可控图文、视频生成，多模态统一大模型等最前沿的技术领域也有着广泛布局和深度探索，在NIPS，CVPR，ICLR等顶会发表了数十篇论文，欢迎对团队技术工作感兴趣的同学进行交流或者加入我们。此外，收集的数据质量对于最终合成语音的效果有着决定性的影响，优质的训练数据对于模型的效果至关重要。但是，随着规模的增大数据集的质量也出现了一定程度的下降，数据集中出现了噪音、多人对话的音频。这样的交叉验证进一步保障了转录文本的准确性。
博客
淘宝客户端动态化页面搭建
03-28 1188
而且由于需要携带的信息变多，协议包大小也会有所增加。业务可以通过LifecycleManager.registerLifecycle注册页面的生命周期监听器，对外暴露的生命周期包括系统生命周期（Android onCreate/onDestroy，iOS didAppear/disAppear等），以及自定义的一些页面生命周期切面，比如网络请求、数据处理、预加载等切面。虽然页面整体布局方式大致一致，但是各个版本之间的代码基本是割裂的，如果需要升级协议，每次的工作量都是巨大，而且切流过程也是比较复杂。
博客
技术人的大模型应用初学指南
03-26 984
基于已有开源大模型进行微调训练，如果采用预训练的方式对模型的所有参数都进行训练微调，由于现有的开源模型参数量都十分巨大，如最新千问72B模型(qwen/Qwen1.5-72B-Chat)有720亿参数，对所有的参数都进行处理，那GPU资源成本会非常高，可能高达数百万每年，为了解决这个问题，社区提出了大模型微调的概念：PEFT (Parameter-Efficient Fine-Tuning)，即对开源预训练模型的所有参数中的一小部分参数进行训练微调，最后输出的结果和全参数微调训练的效果接近。
博客
AI赋能：大模型创新的模板生成与内容填充
03-17 614
在过去的几年团队持续以技术驱动产品和商业创新，在给业务创造价值的同时，也在Agent、可控图文、视频生成，多模态统一大模型等最前沿的技术领域也有着广泛布局和深度探索，在NIPS，CVPR，ICLR等顶会发表了数十篇论文，欢迎对团队技术工作感兴趣的同学进行交流或者加入我们。图3-3展示给定一个非表格类模板，以及两个充电宝的商品信息，模型首先会对提供的 HTML 模板进行分析，从给定的商品信息中提取模板填充所需要的素材（标题、副标题、段落标题和正文）等，然后进行准确的、自适应的内容填写。
博客
淘宝直播AI提效探索的一些心得
03-14 1059
这个案例取自服务端代码生成项目上，其实内部的aone copilot在通用任务上做的非常好用了，官方统计的采纳率也达到了25%，是个非常不错的code copilot的产品，但是对于业务侧的开发来说，这类copilot生成的代码，属于基础实现代码，因为不太能很好的结合当前业务下沉淀的服务、方法来做代码生成，因此我们需要把这部分所谓的服务、方法、工具等接口信息和使用case给到LLM，它才能结合这样的context去做最终代码的生成；随着你继续预测更多的词，这些小比例的错误会累积起来，出错的可能性也会增加。
博客
多模态自动布局技术发展及其在淘内内容场的应用
03-12 701
作为一种新的商品表现形态，内容几乎存在于手淘用户动线全流程，例如信息流种草内容、搜索消费决策内容、详情页种草内容等。过去一年，我们通过在视频生成、图文联合生成等核心技术上的持续攻关，AIGC内容生成在手淘多个场景取得了规模化落地价值。本专题《淘宝的AIGC内容生成技术总结》是我们摸索出的一部分实践经验，我们将开启一段时间的内容AI专题连载，欢迎大家一起交流进步。第一篇《淘宝内容AI团队2024年8...
博客
MLLM在电商域互动内容生产的实践
03-07 825
作为一种新的商品表现形态，内容几乎存在于手淘用户动线全流程，例如信息流种草内容、搜索消费决策内容、详情页种草内容等。过去一年，我们通过在视频生成、图文联合生成等核心技术上的持续攻关，AIGC内容生成在手淘多个场景取得了规模化落地价值。本专题《淘宝的AIGC内容生成技术总结》是我们摸索出的一部分实践经验，我们将开启一段时间的内容AI专题连载，欢迎大家一起交流进步。第一篇《淘宝内容AI团队2024年8...
博客
大模型时代的视频动静态封面生产方案及业务实践
03-05 1073
作为一种新的商品表现形态，内容几乎存在于手淘用户动线全流程，例如信息流种草内容、搜索消费决策内容、详情页种草内容等。通过低成本、高时效的AIGC内容生成能力，能够从供给端缓解内容生产成本高的问题，通过源源不断的低成本供给倒推消费生态的建立。过去一年，我们通过在视频生成、图文联合生成、个性化文案、人设Agent等核心技术上的持续攻关，AIGC内容生成在手淘多个场景取得了规模化落地价值。本专题《淘宝的...
博客
淘宝全新图生视频大模型“淘宝法象”，助力商家降本增效
03-03 1362
作为一种新的商品表现形态，内容几乎存在于手淘用户动线全流程，例如信息流种草内容、搜索消费决策内容、详情页种草内容等。通过低成本、高时效的AIGC内容生成能力，能够从供给端缓解内容生产成本高的问题，通过源源不断的低成本供给倒推消费生态的建立。过去一年，我们通过在视频生成、图文联合生成、个性化文案、人设Agent等核心技术上的持续攻关，AIGC内容生成在手淘多个场景取得了规模化落地价值。本专题《淘宝的...
博客
大模型时代的内容分析Agent解决方案与业务实践
02-28 873
一种新的商品表现形态，内容几乎存在于手淘用户动线全流程，例如信息流种草内容、搜索消费决策内容、详情页种草内容等。通过低成本、高时效的AIGC内容生成能力，能够从供给端缓解内容生产成本高的问题，通过源源不断的低成本供给倒推消费生态的建立。过去一年，我们通过在视频生成、图文联合生成、个性化文案、人设Agent等核心技术上的持续攻关，AIGC内容生成在手淘多个场景取得了规模化落地价值。本专题《淘宝的AI...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值