推荐系统之YouTube视频:Deep Neural Networks for YouTube Recommendations

本文介绍了YouTube如何在2016年利用深度神经网络(DNN)构建推荐系统,主要包括Recall Module和Rank Module。Recall Module采用Embedding和负采样技术筛选候选视频,Rank Module则通过加权逻辑回归预测期望观看时长进行排序。系统强调了用户体验和时长优化,对新数据的快速响应和特征处理提供了工程实践。
摘要由CSDN通过智能技术生成
前言

YouTube在2016年的时候,用深度网络完成了工业级的视频推荐系统,主要分为候选视频集的选择和线上的rank,虽然时间过去两年了,对我们的推荐系统仍有极强的学习参考价值。

背景

深度学习在学术界频发神级文章,工业界的推荐系统还没有特别重量级的成果,YouTube则在2016年给大家带来了DNN在推荐中的最新探索paper主要应用场景:为YouTube用户提取候选视频集,并对其排序展示给用户,追求最大化的观看时长。(追求时长,隐含着追求用户体验,并争取用户在APP上的更多时间,同时意味着用户习惯的养成)

亮点

1) 推荐系统经典结构的深度学习化, → \rightarrow 向量化 + DNN
2) 超多类在分类时的高效解决方案, → \rightarrow 负采样方法
3) 加权逻辑回归解决预测时长问题, → \rightarrow 正样本上采样

数据特点: 巨量用户和数据;新数据响应快;数据稀疏与噪声。其整体视频推荐系统框架,如上图。这个推荐结构非常经典,现在了解到的推荐相关的系统基本都是这么个套路。

Recall Module

目标:利用点击观看日志学习用户的点击概率,给用户筛选出候选集。特征:将视频做Embedding化,搜索query也作Embedding化,同时加入其它的用户信息,预测用户对不同视频的点击概率。因为将所有视频做分类,成了百万级规模的softmax,不是简单地按照视频类型作分类。怎么学习呢?引入负样本采样法,来构造训练样本集,一个观看完毕的正样本,再加上采样的几千条该用户没观看的负样本【语言模型中常见的负采样技术,构造负样本与正样本共同估计正样本发生概率同时降低计算压力,这里的采样没说是什么分布的,猜测是按照点击出现的频率来采样的】。在当前上下文 { U s e r , C o n t e n t } \{U_{ser}, C_{ontent} \} { User,Cont

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
### 回答1: ECA-Net是一种用于深度卷积神经网络的高效通道注意力机制,可以提高模型的性能和效率。它通过对每个通道的特征图进行加权,使得网络可以更好地学习到重要的特征。ECA-Net的设计简单,易于实现,并且可以与各种深度卷积神经网络结构相结合使用。 ### 回答2: ECA-Net是一种用于深度卷积神经网络的高效通道注意力机制。 ECA-Net通过提出一种名为"Efficient Channel Attention"(ECA)的注意力机制,来增强深度卷积神经网络的性能。通道注意力是一种用于自适应调整不同通道的特征响应权重的机制,有助于网络更好地理解和利用输入数据的特征表示。 相比于以往的注意力机制,ECA-Net采用了一种高效且可扩展的方式来计算通道注意力。它不需要生成任何中间的注意力映射,而是通过利用自适应全局平均池化运算直接计算出通道注意力权重。这种方法极大地降低了计算和存储开销,使得ECA-Net在实际应用中更具实用性。 在进行通道注意力计算时,ECA-Net引入了两个重要的参数:G和K。其中,G表示每个通道注意力的计算要考虑的特征图的大小;K是用于精细控制计算量和模型性能之间平衡的超参数。 ECA-Net在各种视觉任务中的实验结果表明,在相同的模型结构和计算资源下,它能够显著提升网络的性能。ECA-Net对不同层级的特征表示都有显著的改进,能够更好地捕捉不同特征之间的关联和重要性。 总之,ECA-Net提供了一种高效并且可扩展的通道注意力机制,可以有效提升深度卷积神经网络的性能。它在计算和存储开销上的优势使得它成为一个非常有价值的工具,可在各种计算资源受限的应用中广泛应用。 ### 回答3: "eca-net: efficient channel attention for deep convolutional neural networks" 是一种用于深度卷积神经网络的高效通道注意力模块。这一模块旨在提高网络对不同通道(特征)之间的关联性的理解能力,以提升网络性能。 该方法通过引入了一个新的注意力机制来实现高效的通道注意力。传统的通道注意力机制通常是基于全局池化操作来计算通道之间的关联性,这种方法需要较高的计算成本。而ECA-Net则通过引入一个参数化的卷积核来计算通道之间的关联性,可以显著减少计算量。 具体来说,ECA-Net使用了一维自适应卷积(adaptive convolution)来计算通道注意力。自适应卷积核根据通道特征的统计信息来调整自身的权重,从而自适应地计算每个通道的注意力权重。这样就可以根据每个通道的信息贡献度来调整其权重,提高网络的泛化能力和性能。 ECA-Net在各种图像分类任务中进行了实验证明了其有效性。实验结果显示,ECA-Net在相同计算预算下,相比其他通道注意力方法,可以获得更高的分类精度。同时,ECA-Net还具有较少的额外计算成本和模型大小,使得其在实际应用中更加高效。 总结而言,"eca-net: efficient channel attention for deep convolutional neural networks" 提出了一种高效通道注意力方法,通过引入自适应卷积核来计算通道注意力,从而提高了深度卷积神经网络的性能。这一方法在实验中取得了良好的效果,并且具有较少的计算成本和模型大小。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值