深度特征工程：[google]DCN-M: Improved Deep & Cross Network for Feature Cross Learning in Web-scale Learning

最新推荐文章于 2022-03-29 20:49:35 发布
最新推荐文章于 2022-03-29 20:49:35 发布
阅读量748 收藏 1
点赞数
分类专栏： 深度学习 机器学习 文章标签： 机器学习 深度学习 特征工程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012852385/article/details/109197384
版权
本文介绍了DCN-M，一种改进的深度和交叉网络模型，用于更有效地学习高阶特征交叉。DCN-M通过矩阵形式的权重和低秩矩阵分解来增强表示能力，降低了计算复杂度。实验表明，DCN-M能够更好地拟合高阶特征，并且在捕获重要特征交叉方面表现出优势。
摘要由CSDN通过智能技术生成

参考：https://mp.weixin.qq.com/s/0qidwbxyfTkODTw2DIiRWw
代码

1、贡献
DNN在特征交叉学习上比较低效，DCN[1]可以高效的学习高阶的特征交叉，本文在DCN的基础上，提出一种改良版的DCN-M模型。

2、回顾DCN的结构
在这里插入图片描述
图中输入包括连续特征和向量, 模型分两支，一是DNN模型，一是Cross Net，最终两者的输出concat一起经过FFN输出。
CrossNet的公式如下：
在这里插入图片描述
公式的矩阵显示是：
在这里插入图片描述
式中w和b都是d维向量，因此每增加一层增加2d个参数，参数相比DNN很少。

3、DCN-M的改进点

    最低0.47元/天 解锁文章
    hellozgy
    关注
    专栏目录
    阿里妈妈品牌广告价值建模
    阿里妈妈技术
    04-13 2058
    丨目录： · 背景 · 价值衡量体系建设 ·模型技术探索 · 总结&展望 ·参考文献▐背景阿里妈妈品牌广告通过高品质的展示资源位为广告主提供优质营销服务，帮助广告主提升其在客群中的品牌心智，从而降低拉新复购成本，提升品牌影响力，增强市场竞争力。对于品牌广告投放，广告主除了对于曝光保量的诉求，也越来越关注投放效果的提升。从用户视角，用户对于...
    SOD-YOLOv8 - 增强YOLOv8以在交通场景中检测小目标
    最新发布
    TJMtaotao的博客，高校计算机教师
    10-20 1122
    提出了Small Object Detection YOLOv8 (SOD-YOLOv8)，这是一种专门针对涉及众多小目标场景的新颖模型。 受到Efficient Generalized Feature Pyramid Networks (GFPN)的启发，作者在YOLOv8中增强多路径融合，以合并多层级的特征，保留浅层细节并提高小目标检测精度。 引入第4个检测层用于有效利用高维度的空间信息。 C2f-EMA模块中的高效多尺度注意力模块（EMA）通过重新分配权重和优先考虑相关特征增强特征提取。
    DCN-M：Google提出改进版DCN，用于大规模排序系统的特征交叉学习(附代码)
    hellozhxy的博客
    10-21 1831
    “本文结合DeepCTR-Torch中的代码实现，介绍了DCN的改进版——DCN-M。该模型能更有效地学习特征交叉，并通过低秩矩阵分解对参数矩阵进行降维，降低计算成本。受MOE结构启发，作者还在多个子空间中建模特征交叉。实验表明，传统的基于ReLU的神经网络在学习高阶特征交叉时效率较低；DCN-M能够在保证效率较高的同时，取得优于SOTA方法的效果。” 本文介绍的论文是《DCN-M: Improved Deep & Cross Network for Feature Cross Learning.
    学习笔记(五）： Feature Crosses
    anyizhe7949的博客
    08-26 430
    目录 Feature Crosses Encoding Nonlinearity Kinds of feature crosses Glossay Crossing One-Hot Vectors Playground Exercises Introducing Feature Crosses More Complex Featu...
    论文笔记：Improved Deep Embedded Clustering with Local Structure Preservation
    qq_44015059的博客
    06-11 2864
    前言 DEC 忽略了至关重要的因素，即定义的聚类损失可能会破坏特征空间（聚类损失不能保证局部结构的保存），从而导致无代表性的无意义特征，进而损害聚类性能。 文章提出的Improved Deep Embedded Clustering algorithm(IDEC) 考虑到了保留数据结构，利用聚类损失作为指导，操纵特征空间来分散数据点。 为了约束数据生成分布的局部结构，采用了一种欠完备的自动编码器。通过融合聚类损失和自动编码器的损失，IDEC联合聚类标签分配和学习适合聚类并保留数据结构的特征，最后的优化问题采
    推荐系统遇上深度学习(五)--Deep&Cross Network模型理论和实践
    weixin_33913332的博客
    07-26 175
    1、原理 Deep&Cross Network模型我们下面将简称DCN模型： 一个DCN模型从嵌入和堆积层开始，接着是一个交叉网络和一个与之平行的深度网络，之后是最后的组合层，它结合了两个网络的输出。完整的网络模型如图： 嵌入和堆叠层 我们考虑具有离散和连续特征的输入数据。在网络规模推荐系统中，如CTR预测，输入主要是分类特征，如“count...
    [深度学习] Deep & Cross Network (DCN)
    摩登都市天空---专栏
    10-15 6066
    Deep & Cross Network(DCN)在 2017 年由 google 和 Stanford 共同发表的一篇论文中被提出，类似于Wide & Deep Network(WDL)，是用复杂网络预估CTR的一种方法。 特征工程一直是许多预测模型成功的关键。许多有效的特征都来自于原始特征的交叉组合。在WDL中，wide侧的交叉组合特征依然需要依靠hand-craft来完成。而DCN能对sparse和dense的输入自动学习特征交叉，可以有效地捕获有限阶（bounded degrees
    深度学习在CTR预估中的应用
    hestendelin的专栏
    06-15 1037
    Deep Learning for Click-Through Rate EstimationWeinan Zhang, Jiarui Qin, Wei Guo, Ruiming Tang...
    31种特征交叉模型（按时间顺序整理）
    weixin_39586997的博客
    06-29 2426
    1.FM模型； 2.FM融合； 3.FM实时；
    DCNv2论文阅读笔记
    slamdunkofkd的博客
    05-17 1355
    DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems 这篇paper，不是指的图像里面的可形变卷积。
    深度学习之 DCN（Deformable Convolution）-可变形卷积
    热门推荐
    fenglepeng的博客
    11-02 1万+
    Paper link: http://openaccess.thecvf.com/content_ICCV_2017/papers/Dai_Deformable_Convolutional_Networks_ICCV_2017_paper.pdf https://arxiv.org/pdf/1703.06211 Code link: https://github.com/msracver/Deformable-ConvNets Abstract 如何有效地对几何图形的变化进行建模一直是一个挑战，大.
    Deep Cross Network (深度交叉网络, DCN) 介绍与代码分析
    珍妮的选择的博客
    04-18 7881
    Deep Cross Network (深度交叉网络, DCN) 介绍与代码分析 文章目录Deep Cross Network (深度交叉网络, DCN) 介绍与代码分析文章信息主要内容Deep Cross Network特征输入Cross NetworkDeep NetworkCombination Layer总结参考资料 发现看完 Paper 和源码后如果不做点笔记, 一段时间过后, 甚至记不...
    【论文导读】Wide&Deep模型的进阶---Cross&Deep模型，附TF2.0复现代码
    Blank_Space
    07-15 526
    前言今天分享一篇斯坦福与谷歌2017发表的推荐论文《Deep & Cross Network for Ad Click Predictions》。本文的亮点是作者提出了Cross...
    主线4.1DCN论文阅读：Deep & Cross Network for Ad Click Prediction
    weixin_45459911的博客
    04-06 563
    文章目录一、摘要二、介绍1、嵌入和堆叠层 一、摘要 这篇论文是Google 对 Wide & Deep（想了解这个模型可以点击这里）工作的一个后续研究，文中提出 Deep & Cross Network，将Wide部分替换为由特殊网络结构实现的Cross，自动构造有限高阶的交叉特征，并学习对应权重，告别了繁琐的人工叉乘。 二、介绍 Deep & Cross的网络结构如下图所...
    三种Cross-lingual模型 (XLM, XLM-R, mBART)详解
    mathor的博客
    11-13 7897
    本文将详述三种Cross-lingual模型，按照其在Arxiv上发表论文的时间，分别是XLM(2019/1/22)、XLM-R(2019/11/5)、mBART(2020/1/22)，有意思的是这三篇文章均出自FaceBook，他们是不是对跨语言模型有什么执念？ XLM (Cross-lingual Language Model Pretraining) 尽管原有的BERT模型可以在上百种语言上进行预训练，但是语言之间的信息并不是互通的，不同的语言模型之间没有共享知识。Facebook的XLM模型克服了信
    【论文阅读】Cross-X Learning for Fine-Grained Visual Categorization
    Ayden的博客
    04-06 1425
    【论文阅读】Cross-X Learning for Fine-Grained Visual Categorization摘要具体实现OSME模块跨类别跨语义正则化(C3SC^{3} SC3S)跨层正则化(CLCLCL) 摘要 Recognizing objects from subcategories with very subtle differences remains a challenging task due to the large intra-class and small inter-cl
    谷歌提出改进版DCN(DCNV2)用于大规模推荐系统
    hestendelin的专栏
    11-30 2605
    DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Ran...
    万字详述推荐系统经典模型DCN,DCN_v2,PNN
    qq_39158406的博客
    03-29 4749
    公众号：ChallengeHub(持续分析机器学习，数据挖掘，推荐系统，NLP方面的知识) 之前文章介绍了特征交叉的一些方式和几种推荐系统中关于特征交叉的一些论文。上篇文章中主要介绍了wide&deep，deepFM，和NFM模型。其中wide&deep，和deepFM模型的特征交叉就一层，属于浅度的特征交叉，NFM可以实现更深的特征交叉。这篇文章将介绍两种经典的推荐模型，它们可以实现更深度的特征交叉。分别为DCN,DCN_v2和PNN。 1：DCN 论文名称：Deep & Cros
    2019 IET之ReID：HPILN: a feature learning framework for cross-modality person re-identification
    makabaka的博客
    02-14 1249
    HPILN: a feature learning framework for cross-modality person re-identification 当前的问题及概述： 提出了一种新的特征学习框架：hard pentaplet loss和identity loss network (HPILN),(HPILN)。在该框架中，对现有的单模态再识别模型进行了修正以适应交叉模态场景，并采用专门...
    提升钢轨损伤检测精度：基于改进U-Net的深度学习方法
    关键词涉及的领域包括机器视觉、深度学习、损伤特征识别、数据增强、以及无损检测。机器视觉利用计算机模拟人类视觉系统，通过深度学习模型实现对图像的智能分析；深度学习则通过多层神经网络模型挖掘数据中的复杂...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值