m0_68969027的博客

用户无需将原始代码库下载与部署到自身环境，安装了Diffusers库的开发者，仅需要运行几行代码，即可调用混元DiT模型，配置与调用都十分方便。腾讯文生图负责人芦清林表示：“腾讯混元文生图模型开源之后得到了众多开发者的支持和反馈，我们十分高兴，也同时在针对开发者的反馈与社区一起完善和优化基于混元DiT的开源生态，让更多开发者能更便利地享受到最新的研究成果。ComfyUI是一款文生图领域的WebUI界面设计，它将文生图领域的扩散算法模块化与图形化，提升了生成效率与资源利用率，也大幅降低了开发者的使用门槛。

为了给模型提供高质量、类目均衡的样本，同时降低训练数据分布变化带来的风险，腾讯混元文生图团队提出了数据班车的机制，通过对比线上模型与变化样本分布后的模型效果的方式，从主体、风格、场景等多角度评估训练样本改变对模型带来的收益情况，并且形成了可迭代的训练样本调整机制。同时，基于开放、前沿的混元文生图基础模型，将有利于在以 Stable Diffusion 等为主的英文开源社区之外，丰富以中文为主的文生图开源生态，形成更多样的原生插件，推动中文文生图技术研发和应用。近期，腾讯混元文生图大模型全面升级并对外开源。

无论是企业客户还是个人开发者，都可以通过腾讯云上API直接调用，实现更便捷的智能化升级。​腾讯太极机器学习平台，致力于让用户更加聚焦业务AI问题解决和应用，一站式解决算法工程师在应用过程中特征处理、模型训练、模型服务等工程问题。，创建一个轻协作空间，让AI帮忙匹配最佳模板，并从会议纪要里提炼工作项。服务客户的场景，有了大模型，效率咔咔提升。智能生成合同草案，审阅过程中AI提炼审批意见，快速签订合同。（现在，鹅厂一半的研发都在用AI代码助手，其代码生成率约30%，让编码效率提升20%以上）

虽然目前市场上已经有一些图生视频大模型，但一般的生成方法不仅需要用户在提示词中描述运动区域，还需要提供运动指令的详细描述，过程较为复杂，而且，从生成的效果来看，现有的图像生成视频技术在移动图像的指定部分上缺乏控制，生成的视频往往需要移动整个场景，而不是图像上的某一个区域，精准度和灵活性上有所欠缺。为了解决这些问题，腾讯混元大模型团队、清华和港科大的联合项目组提出了更实用和可控的图像到视频生成模型Follow-Your-Click，带来更加便捷的交互，也让图片“一键点，万物动”成为现实。

为了提高训练效率，TB级机器学习模型通常采用分布式训练方法，需要大量的参数和梯度同步，以1.8T模型千卡训练为例，IO通信量达到25TB, 耗时占比53%，此外，加上不同算力集群间的异构网络环境，通信网络延迟不一，这些都对模型训练过程中的通信开销提出了较高的要求。另外，针对面向推荐系统的图模型训练， 腾讯Angel机器学习平台设计了图节点特征自适应图网络结构搜索技术，可自动输出最优结构，解决了TB图模型应用中“图数据挖掘难”的问题，实现模型训练性能提升28倍，与业界比具有最优扩展性。

腾讯推出的高性能网络星脉，具备业界最高的3.2T通信带宽，为AI大模型带来10倍通信性能提升。基于腾讯云新一代算力集群HCC，可支持10万卡GPU的超大计算规模。

本文主要介绍了在TVMCon 2023 上发布的 BlazerML 加速强化学习推理的方案，并分享 CPU 上高性能卷积算子的优化等技术细节，相关功能已经基于“开悟”落地腾讯太极机器学习平台。

腾讯会议在云录制基础上，升级智能录制，推出智能纪要，以及智能章节、发言人与话题回顾能力，帮助大家更高效地掌握会议大局，秒get会议重点。

HCC高性能集群针对大模型场景，集成了腾讯太极机器学习平台AngelPTM等自研框架，其加速引擎对网络协议、通信策略、AI框架、模型编译进行大量系统级优化，大幅节约训练成本。相比上一代，服务器带宽从1.6T提升到3.2T，算力性能提升3倍。

AI大模型和广告大模型两大模型的落地，践行了腾讯广告 “技术提效” 理念。未来，腾讯广告将继续强调技术落地的重要性，从技术的角度理解业务，从业务的角度审视技术，让技术演进推动业务增长，为广告主创造更多的价值。

成全甲乙，陶怡自己

在腾讯太极机器学习平台和混元AI大模型助力下，腾讯机器学习搜索团队参加了无偏排序学习和互联网搜索预训练模型赛道，并在该赛道的两项子任务中双双夺冠。同时，相关技术也广泛应用于微信搜一搜、腾讯广告等多个产品，取得了显著的业务收益。

鉴于最近大模型的火热趋势，腾讯云决定将腾讯太极机器学习平台自研的AngelPTM训练框架推广给广大公有云用户，该框架经腾讯内部业务的反复打磨，低成本高性能支撑万亿大模型的训练落地，帮助业务降本增效。

腾讯混元AI大模型采用腾讯太极机器学习平台自研的训练框架AngelPTM，相比业届主流的解决方案，节省45%训练资源，并提升1倍训练速度！腾讯发布的混元AI大模型登顶权威中文测评基准CLUE榜，并超越人类水平。

腾讯太极机器学习平台八年磨一剑，践行MLOPs理念，为腾讯广告提供了高效易用的一站式模型迭代产品服务，帮助广告算法、数据业务团队快速探索验证，持续提升腾讯广告GMV。

腾讯太极机器学习平台持续探索降本增效方案，在广告离线训练场景利用混合部署资源大大降低了资源成本，每天为腾讯广告提供50W核心廉价混合部署资源，帮助腾讯广告离线模型训练资源成本降低30%，同时通过一系列优化手段使得混部资源稳定性和正常资源持平

随着工业界对于大规模图数据处理场景的要求，图结构数据处理的及时性和可扩展性成为了行业关注的重点。本文主要介绍PaSca，一种基于新型结构范式的可扩展的图神经结构搜索系统，并且探讨其表现性能和易用性。

混元AI大模型先后在MSR-VTT，MSVD等五大权威数据集榜单中登顶，实现跨模态领域的大满贯，并再次登顶自然语言理解任务榜单CLUE。如此来势汹汹的“混元”，落地到具体的应用场景是如何发挥其效能的呢？ 我们一起来看看它背后的技术揭秘。

基于微信表情包和搜索场景积累的Imagen生成技术和大规模脱敏图文数据，太极推出了面向通用场景的文生图大模型，且在中国风景、中文诗句、中国元素、游戏风格等方面做到了业界先进水平，并协同腾讯混元AI大模型团队持续打造更强大的文生图大模型。