太极AngelPTM MoE组件性能优化策略——Part2 如何在MoE组件实现高效Gating算子以及专家计算算子,提高GPU计算利用率?如何减少额外存储空间,提高训练吞吐?如何将模型训练任务(包括计算,通信和存储)高效地分配到大规模GPU集群进行处理?速戳>>...
太极AngelPTM数据并行训练策略优化——Part1 如何避免梯度累积的批量太大引入精度损失?如何支持万亿大模型的训练,引入模型并行的相关技术,包括ZeRO赋能的数据并行,流水并行,张量并行和专家并行?速戳>>
WWW2022 最佳论文直播解读 | 大规模自动化图学习 本论文研究了大规模图学习过程中面临的图模型可扩展性低以及建模门槛高两个问题,进而提出了一套能自动化建模超大规模图网络的可扩展图学习系统。本文还实现并开源了一套多目标自动化图神经结构搜索系统,来支持更简单和更高效的大规模图学习。
6,腾讯一口气拿下六大领先科技成果奖项 以下文章来源于腾讯2022中国国际大数据产业博览会传来消息:有五项来自腾讯的技术,获得数博会最高奖项——2022年数博会领先科技成果奖;另有一项腾讯技术,获得“数博会领先科技成果优秀项目”。获奖证书中国国际大数据产业博览会,是全球首个大数据主题博览会。目前,已成为全球大数据发展的风向标,以及业界最具国际性和权威性的成果交流平台。如何消除视频会议中的噪声去年的获奖名单里,有一项技术叫“屏幕内容编码技术”,应用在腾讯会议中,既保证清晰度,又省带宽。值得一提的是,今年获
博通语法纠错技术方案入选ACL2022,论文详细解读 本文将详细解读腾讯博通平台语法纠错团队入选ACL 2022的两个中文纠错模型CRASpell和CNEG。CRASpell模型主要解决多错误句子错别字之间相互影响的问题,CNEG模型则主要解决自动构造的错误样本分布和真实错误分布不一致的问题。
CVPR 2022 | 基于对齐和均匀表示学习的零样本视频分类 本文将详细阐述入选CVPR2022的零样本视频分类模型AURL,该模型通过端到端学习视觉和语义网络,同时约束对齐性和均匀性,有效地增强模型泛化能力,大幅提升了零样本视频分类性能。
太极平台高效支持MKLDNN动态shape推理 本文主要介绍太极推理加速针对通用性选用MKLDNN作为神经网络计算库原因,并阐述MKLDNN动态shape推理优化方案,展示在人脸识别等业务中的加速效果。