微信团队的深度学习框架deepx_core开源啦

项目介绍

deepx_core是一个完全自研的深度学习框架。

deepx_core是针对大规模高维稀疏数据场景如搜索、推荐和广告等深度优化的深度学习框架。基于deepx_core可以开发出离线训练和在线推理的一整套解决方案, 并在腾讯多个业务中使用并得到好评。此外, deepx_core也是一个相当通用的深度学习框架, 用户可以快速开发出张量计算/机器学习/深度学习/强化学习/图神经网络/无监督学习等应用。

项目特点

计算图: deepx_core提供了一个支持自动求导的静态图引擎,该引擎支持一百余个op, 几乎覆盖所有网络类型。

大规模稀疏模型: 稀疏模型由稀疏张量组成, 稀疏张量一直是开源框架的痛点, 要么不支持, 要么有缺陷.deepx_core设计并实现了稀疏张量和配套的op, 以原生的方式完美实现了稀疏模型, 完全不存在开源框架的痛点。分布式训练场景下, 稀疏张量均匀分布在多台参数服务器上, 模型规模随着参数服务器数量增加而线性扩展。deepx_core可以支持千亿特征, TB级模型, 达到业界领先水平.

高性能: deepx_core 使用 C++11开发, 天然具备高性能的基因。我们还在高性能计算优化, JIT编译优化, 图编译优化, 图运行优化, 内存分配优化, 网络通信优化等方向做出卓有成效的成果。在多项已落地的任务中, 基于deepx_core解决方案的性能普遍是开源框架的5-10倍, 机器节省30%-60%。

跨平台: deepx_core用标准C++11开发, 极少模块需要适配不同操作系统, 目前支持 linux, macOS 和 windows 操作系统。

 

项目应用

我们帮助以下重要腾讯产品的若干排序/召回场景落地使用了 deepx_core 及其衍生项目, 取得了性能和效果双丰收: 微信看一看,微信搜一搜, 微信支付, 微信表情, 微信视频号, 微信小程序, 微信读书, QQ音乐, 应用宝, 腾讯新闻, 腾讯课堂, 腾讯黑产打击等。

 

写在最后

deepx系列机器学习项目经过3年多的迭代, 已经趋向稳定和成熟。deepx_core 在设计开发的过程中, 从业界开源项目获取了大量经验和灵感, 我们现将其中的核心项目 deepx_core 开源反哺业界, 同时也能促进项目更好发展。

团队介绍

最后的最后, 介绍一下我们的团队。我们是微信看一看算法平台团队, 我们把代码和系统视为艺术, 我们推崇小而美的系统, 我为我们的工程师文化和艺术品而骄傲。未来我们将开源更多项目, 敬请期待。

https://github.com/Tencent/deepx_core

（点击文末阅读原文直接访问）

更多干货请点击：
【视频】《华为100张面孔》（三集全）

推荐系统解构.pdf（附下载链接）

GitHub2020年数字洞察报告.pdf（附下载链接）如何构建一个生产环境的推荐系统？美团大脑系列之：商品知识图谱的构建及应用推荐系统架构与算法流程详解用户画像和精准化平台系统实践
关注我们

省时查报告 专业、及时、全面的行研报告库

长按并识别关注