谷歌提出改进版DCN(DCNV2)用于大规模推荐系统

最新推荐文章于 2025-04-23 15:31:45 发布
最新推荐文章于 2025-04-23 15:31:45 发布
阅读量2.7k 收藏 1
点赞数
文章标签： 神经网络 机器学习 深度学习 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hestendelin/article/details/110412740
版权
文章介绍了DCN-V2，一种改进的深度交叉网络，适用于大规模工业级推荐系统。相较于传统的DCN，DCN-V2在表示能力和效率上有所提升，尤其在与低秩混合结构融合时。实验表明，DCN-V2在多个基准数据集上表现出优越性能，同时在谷歌的推荐系统中也提升了线下和线上的业务指标。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems

Ruoxi Wang, Rakesh Shivanna, Derek Z. Cheng, Sagar Jain, Dong Lin, Lichan Hong, Ed H. Chi

Google

https://arxiv.org/pdf/2008.13535.pdf

构建推荐系统的关键之一在于学习到有效的特征交叉。

但是，稀疏大规模特征空间中识别有效特征交互非常耗时。DCN可以自动并且高效学习限定度的预测性特征交互。在大规模流量的十亿级别的训练样本中建模时，DCN在学习预测性更强的特征交互时，交叉网络暴露出了它在表示性方面的局限性。虽然一些重要研究成果涌现出来，很多生产环境中的深度学习模型依然依赖传统前向传播神经网络来学习特征交互，这种方式并不高效。

基于DCN和现有特征交互学习方法的优缺点，作者们提出一种改进的框架，DCN-V2，这种改进可以使得DCN更适用于大规模工业界场景中。通过大量超参搜索和模型调优，作者们发现DCN-V2在比较流行的基准数据集上效果优于其它STOA算法。

改进的DCN-v2表达能力更强，在特征交互学习中也比较高效，尤其是跟低秩混合结构融合时。DCN-v2比较简单，很容易作为堆叠的块，在谷歌的很多大规模学习排序系统中不仅线下准确率有显著提升，而且线上业务指标也有显著提升。

这篇文章的主要贡献如下

相关模型主要有以下几种

作者们所提模型图示如下

其中堆叠式中，cross网络跟deep部分是串行的，并行式中，cross网络跟deep部分是并行的

嵌入层简介及特点描述如下

下面是cross网络简介

作者们所提出的cross网络图示如下

深层网络的表达式如下

目标函数形式如下

权重矩阵的奇异值变化趋势以及低秩专家的组合图示如下

在子空间中学习特征交互可以借助moe来实现

复杂度分析如下

作者们所提模型跟DCN的区别如下

跟dlrm和deepfm之间的关系如下

跟xdeepfm之间的关系如下

跟autoint的区别在于

跟pnn的关系如下

DCN DCN-V2和深度神经网络在人工数据集上的效果对比如下

DCN和DCN-V2对于不同的特征交互的阶效果对比如下

层数对DCN和DCN-

最低0.47元/天 解锁文章
frank_hetest
关注
YOLOv10涨点改进：卷积魔改 | DCNv2升级版本，助力检测
06-04 282
在DCN的基础上，增加了2个创新点，分别是调制模块和使用多个调制后的DCN模块，从形成了DCN的升级版本——DCNv2
【YOLOv8改进 - 卷积Conv】DCNv2： 可变形卷积，显式和隐式特征交互学习
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-24 2591
【YOLOv8改进 - 卷积Conv】DCNv2： 可变形卷积，显式和隐式特征交互学习
深度学习 - 37.TF x Keras Deep & Cross Network DCN 实现
BITDDD小栈
03-03 1282
DCN Deep Cross Network 模型结构分析与实现。
DCNv2ubuntu16.04下编译好的
11-12
可变形卷积dcnv2编译，ubuntu16.04下编译好的，cuda10.0，cudnn7.1.3，欢迎下载
YOLOV8添加可变形卷积(DCNv2)增强空间注意力
最新发布
大家好鸭！这里记录着我的学习路程和心路。
04-23 954
device='cou.参数意思是:你电脑是GPU你就埴0，CPU就埴cpu，GPU是有英伟达显卡的电脑使用的，如果没有英伟达显卡训练非常慢，因为我电脑没有英伟达显卡，这里训练只用了几张数据集进行测试，你们也可以租云服务器训练，方法都是一样的，后期有空会出一起环境配置视频，我以前的作品也有环境配置教程的，你们可以翻一下看看测试一下训练，打印出来的YOLOv8结构可以看到添加可变性卷积成功。该文件路径为:ultralytics/nn/tasks.py，在开头导入C2f_DCN，添加如截图所示。
深度学习之DCN-v2
Ton的博客
05-03 7681
这篇文章发表在2019的CVPR上，是Deformable Convolution Network的进阶版本——DCN-v2，通过对DCN的两处改进来增加卷积神经网络的适应性与灵活性。具体来说，通过堆叠多个DCN来增强感知的范围；通过引入调制机制来为DCN增加更多选择采样区域的自由度，这种调制通过门机制来实现对采样区域的注意力。 Deformable ConvNets v2: More Deformable, Better ResultsAbstract1 Introduction2 Focus poin.
DCNv2简述
今天打卡Leetcode了吗
11-05 7876
引言   由尺寸，位置，视野，部分变形成为目标识别检测中的一个挑战。DCNv1 介绍了两个模型，   （1）可变形卷积：标准卷积网格采样点的位置都是前面预处理feature map学习的偏移。   （2）可变形RoIpooling，其中，偏移学习RoIPooling中的bins的位置。将上述两个模型嵌入到神经网络中可以按照目标物的特性进行特征表示，通过变形采样及池化模式来适应目标物体的结构。基于上述方法，大幅度提高了目标检测的效果。 为了理解可变形卷积，通过在VOC图像上采样点的位置上增加偏移，并可视化其引
论文及代码详解——可变形卷积（DCNv2）
热门推荐
zyw2002的博客
08-17 1万+
DCNv2 是在DCNv1的基础上的改进版。理解DCNv2之前，建议先读。
DCNv2阅读笔记
comea23的博客
09-02 562
本文是对DCNv1的改进版本。 DCNv1通过学习偏移增大卷积的感受野，虽然增大的感受野对任务是有帮助的，但是增大的部分可能远远超过了我们需要的部分，有点过犹不及，使得提取出的特征包含无关的图像信息。所以本文的主要目标就是解决这个问题。首先作者在网络中更大规模的使用变形卷积，提升网络的建模能力。其次通过老师网络指导主干网络对偏移的学习，控制其范围。（有点博弈的意思） 作者回顾了DCNv1提出的可变形卷积与DCN ROI Pooling。通过可视化DCN训练中的感受野变化，作者发现感受野的激活点主要集中在目标
芒果YOLOv5改进81：主干Backbone篇之DCNv1、DCNv2结构：可变形卷积网络Deformable Convolutional Networks，以及改进的深度和跨网络以及网络规模学习排
包括YOLOv5、YOLOv7、YOLOv8等模型改进
03-08 309
YOLOv5改进DCNv1、DCNv2结构
谷歌和加州大学提出多粒度量化embedding用于大规模类别特征表示
hestendelin的专栏
12-28 711
Learning Multi-granular Quantized Embeddings for Large-Vocab Categorical Features in Recommen...
DCNv2_latest:DCNv2支持不错的火炬，例如火炬1.5+（现在为1.8+）
05-03
DCNv2最新 由于DCN在许多模型中使用得很好，并且性能很好，但是在行业中，此操作支持不是很好。 包括pytorch，onnx，tensorrt等。此仓库使pytorch中的所有版本都可以使用DCNv2。 在CenterNet-DLA模型中推断出的Pytorch 1.7。 它可以在Pytorch 1.7上运行，因此您可以在RTX 30系列卡中使用它。 更新 2021.03.24 ：已确认PyTorch 1.8在主分支中可以使用，随时可以使用它。 2021.02.18 ：新年快乐！ PyTorch 1.7终于在master分支上得到支持！ 对于较低的版本，理论上也可以，如果没有，请向我提出问题！ 。 2020.09.23 ：现在，默认情况下，master分支适用于pytorch 1.6，对于较旧的版本，您需要将其分开。 2020.08.25 ：签出pytorch1.6分支以获得py
推荐开源项目：DCNv2 最新迭代 —— 深度卷积网络的强大力量
gitblog_00511的博客
08-23 370
推荐开源项目：DCNv2 最新迭代 —— 深度卷积网络的强大力量 DCNv2_latest项目地址:https://gitcode.com/gh_mirrors/dcn/DCNv2_latest 在深度学习领域，高效的卷积神经网络（CNN）一直是推动众多应用突破的核心。今天，我们要推荐的开源项目——DCNv2，正是这一领域的明星之作，它带来了对最新PyTorch 1.11版本的支持，为你的AI之...
DCN V2 & DCN 模型结构
qq_23236081的博客
12-17 1951
DCN V2 && DCN 模型结构
DCNv2 使用指南
gitblog_00524的博客
09-11 447
DCNv2 使用指南 项目地址:https://gitcode.com/gh_mirrors/dcnv/DCNv2 本指南旨在帮助您快速理解和上手由 MatthewHowe 维护的 DCNv2 开源项目，该项目基于 PyTorch 实现了第二代可变形卷积网络。以下是关键内容概览： 1. 项目目录结构及介绍 DCNv2 的目录结构设计合理，便于理解和定制。以下是一般性的项目结构示例，具体可能依据最新...
编译DCNv2 cuda10.2版本
progess_every_day的博客
04-27 2131
安装cuda10.2版本的torch pip install torch==1.10.1+cu102 torchvision==0.11.2+cu102 torchaudio==0.10.1 -f https://download.pytorch.org/whl/torch_stable.html 下载DCNv2https://github.com/lbin/DCNv2.githttps://github.com/lbin/DCNv2.git cdDCNv2...
可变形卷积：DCNv1and DCNv2
chairon的博客
05-10 6470
可变形卷积顾名思义就是卷积的位置是可变形的，并非在传统的N × N的网格上做卷积，这样的好处就是更准确地提取到我们想要的特征（传统的卷积仅仅只能提取到矩形框的特征）(a)是标准的3×3卷积。(b)，( c)，(d)是给普通卷积加上偏移之后形成的可变形的卷积核，其中蓝色的是新的卷积点，箭头是位移方向。因此DCN v1提出在方形卷积核上的每个点学习一个偏移（offset），卷积核可以根据不同的数据学习不同的卷积核结构，如图1所示。在不同的阶段，不同的特征图，甚至不同的像素点上都可能有其最优的卷积核结构。
DCNv2论文阅读笔记
slamdunkofkd的博客
05-17 1701
DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems 这篇paper，不是指的图像里面的可形变卷积。
万字详述推荐系统经典模型DCN,DCN_v2,PNN
qq_39158406的博客
03-29 5880
公众号：ChallengeHub(持续分析机器学习，数据挖掘，推荐系统，NLP方面的知识) 之前文章介绍了特征交叉的一些方式和几种推荐系统中关于特征交叉的一些论文。上篇文章中主要介绍了wide&deep，deepFM，和NFM模型。其中wide&deep，和deepFM模型的特征交叉就一层，属于浅度的特征交叉，NFM可以实现更深的特征交叉。这篇文章将介绍两种经典的推荐模型，它们可以实现更深度的特征交叉。分别为DCN,DCN_v2和PNN。 1：DCN 论文名称：Deep & Cros
DCNv2结构图
03-18
### DCN v2 的结构图与可视化 DCN v2 是由 Google 提出的一种改进版的 Deep & Cross Network 模型，其核心目标在于增强模型对特征交叉的学习能力以及优化大规模在线学习场景中的性能[^2]。相比于原始版本的 DCN，DCN v2 主要在以下几个方面进行了改进： #### 改进点概述 1. **引入残差连接 (Residual Connections)** 在原有的 Cross 层基础上加入了残差连接机制，从而缓解梯度消失问题并提高训练稳定性。 2. **支持多层 Cross 网络** 原始 DCN 中仅有一层 Cross 网络，而 DCN v2 则允许堆叠多个 Cross 层以实现更深层次的特征交互[^3]。 3. **高效的参数共享策略** 为了减少参数量和加速收敛速度，DCN v2 设计了一种新的权重初始化方法，并通过实验验证了该设计的有效性。 以下是基于上述描述构建的一个典型 DCN v2 架构图的文字说明及其可能的可视化形式： --- #### 文字描述 DCN v2 的整体架构分为三个部分： - **输入层**: 接收稀疏或稠密特征作为输入数据； - **嵌入层**: 将高维离散特征映射至低维度连续空间表示向量； - **双分支网络结构**: - 左侧为标准 DNN（Deep Neural Network），负责捕捉复杂的非线性关系； - 右侧为改进后的 CrossNet（Cross Network），专注于高效建模显式的特征组合； 最终两路输出会被拼接在一起送入全连接层完成预测任务。 --- #### 可视化示意图 虽然无法直接提供图片文件，但可以通过以下伪代码生成类似的图形展示逻辑: ```python import matplotlib.pyplot as plt from matplotlib.patches import Rectangle, ConnectionPatch fig, ax = plt.subplots(figsize=(8, 6)) # 绘制矩形框代表各模块 ax.add_patch(Rectangle((0.1, 0.7), 0.2, 0.2, edgecolor='black', facecolor='none')) ax.text(0.2, 0.8, 'Input Layer') ax.add_patch(Rectangle((0.4, 0.7), 0.2, 0.2, edgecolor='black', facecolor='lightblue')) ax.text(0.5, 0.8, 'Embedding\nLayer') ax.add_patch(Rectangle((0.7, 0.7), 0.2, 0.2, edgecolor='black', facecolor='orange')) ax.text(0.8, 0.8, 'DNN Branch') ax.add_patch(Rectangle((0.7, 0.4), 0.2, 0.2, edgecolor='black', facecolor='green')) ax.text(0.8, 0.5, 'CrossNet\nBranch') # 添加箭头连线 con1 = ConnectionPatch(xyA=(0.3, 0.7), xyB=(0.4, 0.7), coordsA="data", coordsB="data", arrowstyle="-|>", color="red") ax.add_artist(con1) con2 = ConnectionPatch(xyA=(0.6, 0.7), xyB=(0.7, 0.7), coordsA="data", coordsB="data", arrowstyle="-|>", color="blue") ax.add_artist(con2) plt.axis('off') plt.show() ``` 此脚本利用 `matplotlib` 库创建了一个简化版的 DCN v2 流程框架示意草图。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值