使能AI智能体算法性能倍增！昇思多维混合并行等技术助力小艺语音交互、AI修图体验升级-CSDN博客

本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/147148920

3月20日华为发布阔折叠屏手机Pura X，发布会上首发了鸿蒙AI，全新小艺焕新登场，实现更拟人的自然语音交互。全新小艺基于昇思MindSpore，实现小艺语音合成算法推理性能提升30%，AI人像精修算法推理性能倍增，提升用户对话体验的实时性与修图效率。

# 01提升语音输出响应效率、生成性能

语音合成算法中，存在Decode算法模型多次迭代的场景，导致在不同次迭代过程中，需要拷贝上一次的模型输出作为下一次的模型输入，因此Device到Host的数据拷贝以及Host到Device的数据拷贝存在性能瓶颈。

小艺研发团队基于昇思MindSpore AI框架，通过使用模型运算结果Cache缓存机制，支持将模型输出缓存在Device侧，在下次迭代直接使用Device侧数据，有效解决语音类模型在迭代过程中Device侧和Host侧间的数据拷贝时延问题，语音输出首响效率提升20%。昇思MindSpore联合算法团队深度优化Decode模型结构，并构建使能Attention、RotaryMul等融合算子，语音生成性能综合提升10%。

# 02实现小艺语音双麦降噪算法的极低时延推理

告别传统机械问答，小艺凭借“打断不中断“的全双工技术，带来无缝、流畅的语音交互。全双工离不开声音的精准捕捉，双麦降噪业务算法团队实现HAL层极近调用MindSpore Lite超轻量端侧AI框架，降低传输时延和推理底噪，利用多音频流批次推理，高效发挥硬件算力，实现毫秒级超低时延降噪，让全双工对话轻松实现。

# 03多维混合并行、图结构融合优化实现AI修图效率倍增

AI人像精修算法中，为得到更高质量的人像精修效果，算法扩大图片分辨率，导致模型推理过程中Attention模块的序列长度增加。因此，业务模型推理过程中，Attention模块的计算量成倍增加。

昇思MindSpore通过构建TP/CP等多维混合并行策略，针对Conv算子，将算子输出特征图进行多份切分，实现多卡并行计算。针对Matmul类算子通过权重与特征图的切分，实现多卡并行，通过不同的并行策略实现AIGC类大模型出图效率倍增。

为进一步提升业务模型推理性能，针对AI生成式算法模型结构，昇思MindSpore通过构建自动图结构融合优化能力，将模型中Attention结构的小算子结合成昇腾硬件支持的PromptFlashAttention大算子、以及将算法中的GroupNorm算子与激活算子融合成GroupNormSilu大算子，出图效率提升20%。