ContextNet：基于上下文信息优化特征Embedding的CTR模型

原创 已于 2022-03-06 22:37:28 修改
· 3.3k 阅读 · 2 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #推荐算法 #排序算法

于 2022-03-06 22:30:19 首次发布
ContextNet是一种基于上下文信息的点击率(CTR)预测框架，通过动态优化特征embedding来提升预测准确性。该模型包括上下文embedding模块，用于聚合特征的上下文信息，以及ContextNet块，将高阶上下文特征交叉信息整合进特征embedding，从而实现动态优化。这一方法受到NLP中利用上下文信息优化词向量的启发，旨在解决CTR预估中的多义词问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

更多精彩内容欢迎关注公众号：缄默笔记

论文: ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding

Link: https://arxiv.org/pdf/2107.12025.pdf

在NLP领域，通过embedding可以把word从离散空间映射到语义空间，早期阶段Word2vec、GloVe等算法，没有考虑上下文信息，每个word学习得到一个固定的embedding，对于一些多义词，在不同语境意思是不同的（如“苹果”，喜欢苹果手机、喜欢苹果香蕉），针对该问题，ELMO、Bert等算法，利用上下文信息动态预测embedding表示。

受此启发，利用上下文信息，逐层动态优化(dynamically refine)特征embedding向量，也是非常重要的。本文提出通过上下文信息动态优化特征embedding的CTR预估框架ContextNet，主要由两部分构成：

（1）Contextual embedding模块：对每个特征的上下文信息进行聚合

（2）ContextNet block：把上下文高阶特征交叉信息融入特征embedding，动态优化特征embedding；

详细解读见&

最低0.47元/天 解锁文章
【论文笔记】ContextNet: Improving Convolutional Neural Networks for ASR with Global Context
Blogs of TrainerNN
10-23 1997
题目 ContextNet: Improving Convolutional Neural Networks for Automatic Speech Recognition with Global Context 链接 https://arxiv.org/pdf/2005.03191.pdf 标签 Speech Recognition, CNN Contributions 亮点与启发 文章指出： 文章重点 实验结果 持续记录关于端到端语音识别论文与资料： https://github.com/z
《ContextNet：Context-Aware Image Matting for Simultaneous Foreground and Alpha Estimation》论文笔记
m_buddy的博客
10-10 1486
参考代码（训练部分未公开）：ContextNet 现有的一些基于CNN网络的matting网络都是使用三色图与原始图像作为输入，之后输出这张图对应的alpha图。而这篇文章则同时输出前景图和alpha图，对此文章提出了两个编码器：matting编码器（matting encoder，ME）和context编码器（context encoder，CE），分别用于获取表征范围在局部和较大范围的信息，之后将编码之后的两个特征进行concat，经过也是两个解码器得到需要的alpha图和前景图。对此文章还引入了两个损
RecSys特征交叉 - ContextNet
最新发布
qq_41196438的博客
08-29 707
2.Contextual Embedding中，共享聚合层(Aggregation)在不显著影响性能的前提下减少参数量，共享投影层会导致模型性能显著下降。1.蓝框相对较弱，证明通过子网络引入高阶交叉特征很有用；红比黄强，证明得到交叉特征后，乘比加的融合方式有用；随着ContextNet Block堆叠，特征逐渐聚焦到特定的交互特征。3.消融实验：Contextual Embedding、FFN和FFN中的非线性变化LayerNorm都有用。红框 - context聚合函数，蓝框 - 投影函数。
「论文阅读」ShapeContextNet(SCN)：Attentional ShapeContextNet for Point Cloud Recognition
小麋鹿跑了的博客
03-17 4376
摘要 我们在网络设计中采用形状上下文的概念作为构建块，开发了一种新的表示方法。由此产生的模型称为ShapeContextNet，它由一个层次结构组成，其中的模块不依赖于固定的网格，同时仍具有类似于卷积神经网络的特性——能够捕获和传播对象部分信息。 此外，从基于自我注意的模型中得到启发，将自注意力应用到点云。 Shape Context Net是一种端到端模型，可应用于一般的点云分类和分割问题。 图1：三维中的形状上下文内核来捕捉空间信息 引言 我们的论文将重点放在开发一种用于点云分类的深度学
.NET 上下文（Context）
weixin_30822451的博客
06-02 216
.NET上下文的概念 应用程序域是进程中承载程序集的逻辑分区，在应用程序域当中，存在更细粒度的用于承载.NET对象的实体，那就.NET上下文Context。所有的.NET对象都存在于上下文当中，每个AppDomain当中至少在于一个默认上下文（context0）。一般不需要指定特定上下文的对象被称为上下文灵活对象（context-agile），建立此对象不需要特定的操作，只需要由CLR自行...
推荐系统遇上深度学习(一二零)-[微博]使用上下文信息来优化特征嵌入的CTR预估框架...
abcdefg90876的博客
08-01 757
今天给大家分享一篇来自微博的点击率预估论文，借鉴NLP领域的ELMO和Bert的思想，提出了一种使用上下文信息来优化特征嵌入的CTR预估框架，一起来看一下。1、背景特征交互的学习对于CTR...
CTR特征建模：ContextNet & MaskNet(Twitter在用的排序模型)
sgyuanshi的博客
10-10 1080
微博在CTR特征(Embedding)重要性建模方面的一些实践方向，今天再来学习下这个方面的两个相关研究：致力于特征和特征交互精炼(refine)的ContextNet和MaskNet，其中MaskNet也是Twitter(推特)使用的精排模型底座。
【paper笔记】Deep Interest Evolution Network for Click-Through Rate Prediction
qq_41101762的博客
08-17 1144
第二篇论文笔记 论文基本信息0 摘要 Abstract1介绍 intruduction2 FURTHER RELATED WORK3 Deep Interest Evolution Network 深度兴趣演化网络3.1 回顾基本模型(BaseModel)特征表示BaseModel的结构3.1 Embedding Look-up3.2 Convolutional Layers3.3 Fully-connected Layers3.4 Network Training3.5 Recommendation
.net context(上下文)
dsadasjdka的博客
03-28 1985
以前看到context只知道是一个上下文，具体的作用：当时的大概理解就是表面意思，就是一种关联关系，再具体点就说不清楚了 今天详细的看了下，话不多说上图： 进程（Process）、线程（Thread）、应用程序域（AppDomain）、上下文（Context）的关系如图，一个进程内可以包括多个应用程序域，也有包括多个线程，线程也可以穿梭于多个应用程序域当中。但在同一个时刻，线程只会处于...
.NET MVC5专题（请求上下文HttpContext详解）
热门推荐
一点一滴
01-14 2万+
/// 所谓6大对象，其实就是HttpContext的属性 /// Request：url参数 form参数 url地址 urlreferer content-encoding，就是http请求提供的各种信息,后台里面都是可以拿到的context.Request.Headers[“User-Agent”]；包括自定义的–BasicAuth; 请求信息的解读是asp.net_isapi按照http...
Context都没弄明白，还怎么做Android开发？
菜鸟叔
05-17 4423
Activity mActivity =new Activity() 作为Android开发者，不知道你有没有思考过这个问题，Activity可以new吗？Android的应用程序开发采用JAVA语言，Activity本质上也是一个对象，那上面的写法有什么问题呢？估计很多人说不清道不明。Android程序不像Java程序一样，随便创建一个类，写个main()方法就能运行，Android应用模型是
关于Context（上下文）的理解
天天进步一点点
07-01 1万+
一直听到上下文一说，一直没弄清楚到底是啥意思，今天总结一下，不知道对不对 感觉对Context这个词翻译的不太好，不应该叫上下文，应该直接就叫“环境”，不过都这么叫，就叫上下文好了 所谓的上下文就是指语境，每一段程序都有很多的外部变量。只有想Add这种简单的函数才是没有外部变量的。一旦写的一段程序中有了外部变量，这段程序就是不完整的，不能独立运行，要想让他运行，就必须把所有的外部变量的值一个一...
阿里CTR预估三部曲（1）：Deep Interest Network for Click-Through Rate Prediction简析
loserChen的博客
05-31 2353
阿里CTR预估三部曲（1）：Deep Interest Network for Click-Through Rate Prediction Introduction CTR预估是工业应用中的重要任务，最近兴起的模型基本都是遵循embedding&MLP范式的。也就是将高维稀疏向量首先映射成低维的embedding向量并转换成固定长度的向量，最后将所得向量串联在一起经过MLP学习到特征间非线...
Deep Interest Network for Click-Through Rate Prediction 阅读笔记
xuanshuang的博客
01-04 1033
摘要 在电子商务行业的在线广告系统中，如何利用丰富的历史行为数据更好地提取用户的兴趣，是建立点击率预测模型的关键。对用户行为数据有两个关键的观察结果：i）多样性。用户在访问电子商务网站时对不同种类的商品感兴趣。ii）局部激活。用户是否点击一个好的只取决于他们相关的历史行为的一部分。然而，大多数传统的CTR模型缺乏对这些行为数据结构的捕捉。在本文中，我们介绍了一个新的模型，深度兴趣网络（DIN），它是在阿里巴巴的展示广告系统中开发和部署的。DIN通过兴趣分布来表示用户的不同兴趣，并设计了一个类似注意的...
Kaggle Click-Through Rate Prediction 点击率预测/CTR预估
拾遗
07-05 2万+
前言 点击率(Click through rate)预估用来判断一条广告被用户点击的概率，对每次广告的点击做出预测，把用户最有可能点击的广告找出来，是广告技术最重要的算法之一。 数据集 数据来源于kaggle赛题 Avazu：Click-Through Rate Prediction 提供了11天的Avazu数据来构建和测试预测模型： 任务输入：数据集文件：train.csv 和 test.cs...
A Survey on Contextual Embedding 论文笔记
机器学习专栏
04-10 629
论文地址：https://arxiv.org/abs/2003.07278 基于上下文词Embedding 的论文，目前在arxiv 上2020新的paper 上下文嵌入，如ELMo和BERT，超越了Word2Vec这样的全局词表示，在自然语言处理任务中取得了突破性的性能。上下文编码根据上下文为每个单词分配一个表示，从而捕获不同上下文中单词的使用情况以及跨语言传输的编码知识。在这项调查中，我们...
【转载】点击率预估的几个经典模型简介
xceman1997的专栏
02-22 8560
原文地址：http://mp.weixin.qq.com/s?__biz=MzAwNDU4MjIyOA==&mid=402059039&idx=1&sn=d76033b80a0b9d0975e0ba98f37f9f2c&scene=1&srcid=0222Ic808bERBd4Qp3PuMBpV&from=groupmessage&isappinstalled=0#wechat_redirect
稀疏特征Embedding优化：推荐系统与CTR预估的新探索
这两篇论文都致力于解决推荐系统中稀疏特征Embedding表示的难题，通过对用户行为序列中的ItemEmbedding进行深入研究，以及寻求更高效的非行为序列特征Embedding方法，它们为推荐系统和点击率预估模型的优化提供了新...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值