华为中国合作伙伴大会 ｜ 基于昇思MindSpore打造的CodeGeeX邀你现场自动编程

以“因聚而生 众志有为”为主题的“华为中国合作伙伴大会2023”将于5月8日~9日在深圳国际会展中心（宝安）举办。作为昇腾AI生态中的一员，基于昇思MindSpore AI框架打造的CodeGeeX将展示AI辅助编程，现场可体验CodeGeeX的核心3大功能：代码生成与智能补全、代码解释、代码翻译。

自主创新：在国产平台实现与训练

CodeGeeX是一个具有130亿参数的多编程语言代码生成预训练模型。在2022年4月启动CodeGeeX项目时，选择在MindSpore 1.7框架上实现，并使用鹏城实验室的全国产计算平台上进行训练。CodeGeeX使用了其一个计算集群中的1536个昇腾910 AI处理器（32GB）进行了两个月左右的训练（2022年4月18日至6月22日）。

除了Layer-norm与Softmax使用FP32格式以获得更高的精度与稳定性，模型参数整体使用FP16格式，最终整个模型需要占用约27GB显存。为了增加训练效率，CodeGeeX使用8路模型并行和192路数据并行的训练策略，微批大小为16、全局批大小为3072，并采用ZeRO-2优化器降低显存占用。

在开发与训练过程中，CodeGeeX和昇思团队合作，对昇思MindSpore AI框架进行了部分优化，进而大幅度提升训练效率。比如，CodeGeeX团队发现矩阵乘法的计算时间占比仅为22.9%，大量时间被用于各类其它算子，因此实现了一系列算子融合，包括单元素算子融合、层归一化算子融合、FastGelu与矩阵乘法融合、批量矩阵乘法与加法融合等；再比如对矩阵乘法算子的维度实现自动搜索调优，使其搜索出效率最高的计算维度组合等。

使用优化后的软硬件训练时，CodeGeeX单日训练量可达到543亿个标识符（含填充符）。CodeGeeX团队还尝试进一步加入流水线优化，整体训练效率再次提升，单日训练量达到841亿个标识符（含填充符），证明了国产深度学习平台与工具的快速迭代能力以及强大竞争力。

进一步加入流水线并行等优化后，Ascend 910整体训练效率有极大提升

除了对昇腾AI平台的支持，CodeGeeX团队也将模型迁移适配更多其它平台，并开源了跨平台代码和模型权重，让研究者可以在不同平台上运行CodeGeeX模型。

CodeGeeX在现场

来到华为中国合作伙伴大会现场，您可以在昇腾AI生态展区中，亲自体验CodeGeeX的现场自动编程。

如果您在线上观看本次活动，也欢迎在VSCode和JetBrains IDEs中下载CodeGeeX插件，免费体验代码的自动生成、智能补全、自动添加注释和跨语言翻译功能，还有能时时带给你惊喜的“Ask CodeGeeX”智能问答功能。

插入现场拍摄展位及体验用户的组图：

欢迎CodeGeeX的用户和开发者一起，现场体验，自动编程。也可以带着你的问题，现场与专家深度交流。