用Dropout思想做特征选择，保证效果还兼顾了线上性能?

最新推荐文章于 2024-04-23 23:29:30 发布
最新推荐文章于 2024-04-23 23:29:30 发布
阅读量920 收藏 2
点赞数
文章标签： 机器学习 深度学习 人工智能 python 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52122378/article/details/123475515
版权
论文《Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking》介绍了FSCD方法，这是一种结合了效果和效率的预排名特征选择策略。FSCD通过学习的dropout参数对特征进行优化，利用梯度提升效果，通过特征维度的正则化确保效率。在实际电商系统中，FSCD能够在保持高效的同时，实现与精排模型相似的互动关注（IF）模型。
摘要由CSDN通过智能技术生成

这篇论文《Towards a Better Tradeoff between Effectiveness and Efficiency in Pre-Ranking: A Learnable Feature Selection based Approach》教会了我们如何做粗排模型兼顾模型的效率和效果.提出了可学习的特征选择方法FSCD,并在真实电商系统中应用.

简介

7bcb9d3c778aeb87d3751223a94160b2.png

如上图(a)所示,受系统时延约束,推荐系统往往是多阶段的.再看图(b),论文提到简单的representation-focused(RF)模型会严重制约我们模型的表达能力(如传统双塔,最后一层向量Dot,就是简单RF模型),主要是缺少特征交叉.所以我们能否在特征上做优化,只保留效果好的特征又能保证模型推断效率更高,用上和精排一样interaction-focused(IF)的模型呢?当然是可以的!

FSCD

bd89eefc85e818a8f659a71c67362a9b.png

粗排用上精排的模型并且要保持高效率,也就意味着在某些方面要做牺牲,那果断就是在特征上入手了,因此IF的粗排模型用上的特征是精排的子集.如上图所示,FSCD方法中效果是通过梯度优化,

最低0.47元/天 解锁文章
炼丹笔记
关注
FocusedDropout:实施
04-06
为卷积神经网络再现FocusedDropout 首先，非常感谢作者分享这篇出色的论文和我们。 该存储库包含FoucusedDropout以及对带有CIFAR10的修改后的VGG16的简单验证。 如果实施中存在一些错误问题，请给我发送电子邮件至或直接添加问题。 背景资料 在本文中，作者提出了一种新颖的辍学技术-FocusedDropout，该技术不会随机丢弃神经元，而是更多地关注与分类信息相关的元素。 整个算法就这样 可以仔细阅读论文，以了解他们如何以及为什么设计这样的算法。 要求 pip install - r requirements . txt 执行 我们只需运行带有修改后的VGG16（带有BatchNorm和fc层中的较少参数）的CIFAR10。 超参数和默认值 --device= ' cuda ' # 'cuda' for gpu, 'cpu' otherwise --dro
SIGIR 2021 | FSCD-PreRank：面向效率和效果更加均衡的交互式粗排模型
阿里妈妈技术
05-28 621
▐ 1. 背景 在CTR预估场景中，建模特征之间的交互关系是提升模型预估能力的关键之一。比如，在淘宝场景中，一个职业为篮球运动员的用户可能经常点击“Nike-Air Jordan”相关的商品；而一位职业为程序员的用户可能更喜欢点击数码产品。这些例子表明，职业和商品这两个特征之间的交互，即<职业，商品>，可以作为一个比较强的信号来帮助CTR的预估。 目前针对交叉特征的建模，主要分为两大类方法：隐式语义建模和显式语义建模。 隐式语义建模：其核心思想是设计一种交叉网络结构，希望通过网络结构自身的表达能
对Dropout的理解精简版
fu6543210的博客
11-20 1370
今天第一次在别人的代码里面看到了dropout 这个功能，找了一下相关的资料大概理解了一些。论文地址 概念 dropout其实挺简单的，一句话说就是每次train的时候（test不会参与dropout），按照一定几率P随机丢弃一些feature或者Input（因为dropout所处的层不同，叫法不同）， 具体做法是把这一项feature设置成0，也不更新权重（不参与bp传播），其他过程不变。但...
Dropout Feature Rank-漫谈特征选择与特征优化
miamia00620的博客
05-25 520
一种用于深度学习的通用特征排序方法《Dropout feature ranking for deep learning models》教会了我们如何做粗排模型兼顾模型的效率和效果。
阿里妈妈搜索广告CTR模型的“瘦身”之路
hellozhxy的博客
07-12 432
前言 随着号称“地表最强”的千亿参数规模GPT-3模型在 NLP 领域横扫各大数据榜单，大力出奇迹的暴力美学似乎成为了大数据场景建模的不二法门。搜索、推荐和广告场景的 CTR 模型也不例外，同样动辄千亿参数规模、上T体积大小的 CTR 模型成为了同行争相追逐的建模标配。但是无论面对生产运维环境，还是实验迭代环境，它对存储规模和计算性能的要求都是巨大的挑战。而且随着存量算力的逐渐耗尽和增量算力的趋势放缓，它的“大力暴力”成为了业务算法迭代的沉重负担。阿里妈妈搜索广告模型团队通过系统性的算法实践让原本庞大..
Tensorflow中的dropout的使用方法
09-17
为了缓解这个问题，Geoffrey Hinton等人提出了一种名为dropout的技术，它在训练过程中随机“丢弃”一部分神经元，以避免模型过度依赖某些特征。在Tensorflow框架中，我们可以使用多种方式实现dropout操作。接下来，...
17_bagging算法思想及与DNN中的dropout思想的一致性1
08-03
**Bagging算法思想** Bagging（Bootstrap Aggregating，自助聚合）是一种集成学习方法，旨在通过构建多个基学习器并组合它们的预测结果来提高整体的泛化性能。Bagging的核心理念是通过随机子采样（Bootstrap ...
Dropout动态图
10-29
利用动态图更好的理解Dropout动态图
浅谈keras中Dropout在预测过程中是否仍要起作用
09-16
这样做有助于防止网络过度依赖某些特征，从而增强模型的泛化能力。每个训练批次，被丢弃的神经元是随机选择的，使得模型需要学习更多的表示，而不是过于依赖任何单一路径。 然而，在预测阶段，Dropout不再起作用。...
Targeted-Dropout：Targeted Dropout纸的补充代码
02-06
有针对性的辍学 艾丹·戈麦斯（Eidan N. 目录 要求 Python 3 Tensorflow 1.8 快速开始 训练模型： python -m TD.train --hparams=resnet_default 修剪模型： python -m TD.scripts.prune.eval --hparams=resnet_...
Dropout的一些特点.rar
07-04
8. **与其他技术的结合**：Dropout常与其他正则化技术，如批量归一化（Batch Normalization）、权重衰减（Weight Decay）等配合使用，以进一步提升模型性能。 通过学习本资料包中的讲解，你将能够掌握Dropout的核心...
光谱的变量选择/特征选择算法
04-25
5. 神经网络和深度学习中的特征选择：在神经网络中，特征选择可以通过正则化和dropout技术来实现，而在卷积神经网络（CNN）中，卷积层自然地执行特征提取。 6. 基于群智能算法的特征选择：如遗传算法、粒子群优化等...
dropout解决多分类过拟合python代码
12-11
它的基本思想是在训练过程中随机“丢弃”一部分神经元，以此来避免模型过度依赖某些特征。在每次前向传播时，每个神经元有概率p保持激活，概率(1-p)被暂时“关闭”。这种随机失活机制可以视为在训练过程中创建了多个...
Dropout原理.rar
07-04
BAT算法工程师深入详细地讲解Dropout原理，带你轻松入门深度学习！
基于Dropout深度神经网络的手写体数字识别（Matlab）
05-24
在这个项目中，我们将专注于使用基于Dropout的深度神经网络来实现这一功能，全部在Matlab环境下进行，不依赖于额外的库函数。 Dropout是一种在训练神经网络时常用的正则化技术，由Hinton等人在2012年提出。它的主要...
Dropout Feature Ranking for Deep Learning Models
最新发布
qq_43578042的博客
04-23 922
深度神经网络( Deep Neural Networks，DNNs )已经开始在生物学和医疗保健领域崭露头角，包括基因组学( Xiong et al . , 2015)、医学影像( Esteva et al , 2017)、EEG ( Rajpurkar et al , 2017)和EHR ( Futoma et al , 2017)。然而，DNNs是黑盒模型，因其不可解释性而臭名昭著。在生物学和医疗保健领域，为了推导出可以通过实验验证的假设，提供关于哪些生物学或临床特征驱动预测的信息是至关重要的。
Dropout详解：Dropout中丢掉的位置真的都有助于缓解过拟合吗？
01-02 600
Dropout详解：Dropout中丢掉的位置真的都有助于缓解过拟合吗？
理解dropout
热门推荐
雨石
10-10 37万+
开篇明义，dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。 dropout是CNN中防止过拟合提高效果的一个大杀器，但对于其为何有效，却众说纷纭。在下读到两篇代表性的论文，代表两种不同的观点，特此分享给大家。
深度学习——Dropout的基本用法
XDXDXDXDX111的博客
09-28 3831
Dropout是一种在学习的过程中随机删除神经元的方法。训练时，随机选出隐藏层的神经元，然后将其删除。被删除的神经元不再进行信号的传递，如下图所示。训练时，每传递一次数据，就会随机选择要删除的神经元。然后，测试时，虽然会传递所有的神经元信号，但是对于各个神经元的输出， 要乘上训练时的删除比例后再输出。Dropout的核心思想是在训练神经网络时，随机地关闭一些神经元（或节点）它们以及与下一层神经元之间的连接。
xgbDART算法、使用的dropout思想
05-27
xgbDART是一种基于梯度提升树的算法，它在传统的梯度提升树算法的基础上引入了Dropout思想。Dropout是指在训练神经网络时，随机选择一些神经元不参与当前训练的前向传播和反向传播过程，从而避免过拟合的一种方法。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值