![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
论文学习
文章平均质量分 71
loserChen.
这个作者很懒,什么都没留下…
展开
-
Attentive Interactive Neural Networks for Answer Selection in Community Question Answering简析
Attentive Interactive Neural Networks for Answer Selection in Community Question AnsweringIntroduction论文区分不同的文本段落,同时设计了一个新颖的注意力交互网络来衡量对于文本段落的关注度。问题与回答的表示先由CNN学习,之后网络架构再学习不同文本段之间的交互。row-wise与column-w...原创 2019-09-06 15:00:14 · 646 阅读 · 2 评论 -
阿里CTR预估三部曲(3):Deep Session Interest Network for Click-Through Rate Prediction简介
##阿里CTR预估三部曲(3):Deep Session Interest Network for Click-Through Rate PredictionIntroduction文章主要提出对于用户表现sessions,同一个session内的兴趣是相近的,而不同session之间的兴趣是异质的,因此DSIN应运而生来解决上述的问题,其中利用自注意力网络来获取sessin的兴趣表示,然后使...原创 2019-06-05 21:11:40 · 2992 阅读 · 0 评论 -
阿里CTR预估三部曲(1):Deep Interest Network for Click-Through Rate Prediction简析
阿里CTR预估三部曲(1):Deep Interest Network for Click-Through Rate PredictionIntroductionCTR预估是工业应用中的重要任务,最近兴起的模型基本都是遵循embedding&MLP范式的。也就是将高维稀疏向量首先映射成低维的embedding向量并转换成固定长度的向量,最后将所得向量串联在一起经过MLP学习到特征间非线...原创 2019-05-31 12:19:44 · 2071 阅读 · 0 评论 -
NARM:Neural Attentive Session-based Recommendation简析
Neural Aentive Session-based Recommendation介绍作者提出之前的工作只考虑了用户的序列表现,但是对用户的主要目的并没有明显地强调,因此作者提出Neural Attentive Recommendation Machine(NARM)方法NARM的整体框架如下:编码器方面含有global encoder和local encoder。global...原创 2019-05-12 19:42:27 · 4675 阅读 · 0 评论 -
STAMP: Short-Term Attention:Memory Priority Model for Session-based Recommendation简介
STAMP: Short-Term Attention/Memory Priority Model for Session-based Recommendation介绍作者提出lstm虽然能很好的捕捉用户的总体的兴趣,但是作者指出lstm也许对于建模长的session是不够有效的,因此作者提出STAMP,不仅捕捉用户整体的兴趣同时也将用户当前的兴趣纳入考虑。方法STMP文章首先介绍了ST...原创 2019-05-11 20:47:18 · 1807 阅读 · 0 评论 -
RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems简析
RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems介绍为了解决基于embedding和基于路径的方法的限制,作者生成了RippleNet.正如涟漪一样,利用用户曾经的点击记录,不断外扩发掘用户可能的兴趣点。###问题生成我们有用户与items的交互,以及包含大量实体与关...原创 2019-05-19 21:18:42 · 2226 阅读 · 0 评论 -
DKN: Deep Knowledge-Aware Network for News Recommendation简析
DKN: Deep Knowledge-Aware Network for News Recommendation介绍现存的关于新闻的推荐都没有完全利用知识层面的联系,因此作者提出DKN,利用KCNN融合语义与知识层面的新闻表示向量,同时利用attention将用户点击历史与候选新闻计算。知识储备知识图嵌入文章首先介绍了TransE,TransH,TransR,TransD等表示学习方法...原创 2019-05-19 21:15:48 · 2953 阅读 · 0 评论 -
Real-time Personalization using Embeddings for Search Ranking at Airbnb简介
Real-time Personalization using Embeddings for Search Ranking at AirbnbAbstract作者主要开发了listing and user embedding技术,能捕捉客人短期与长期的兴趣,并给出有效房屋推荐列表。IntroductionNovel contribution:real-time personaliza...原创 2019-04-20 15:24:38 · 1218 阅读 · 0 评论 -
Applying Deep Learning To Airbnb Search简介
Applying Deep Learning To Airbnb SearchIntroduction首先,作者介绍了airbnb的业务流程:从客人在airbnb上搜索合适的房子,系统给出具有一定顺序的列表房间。同时介绍了airbnb的技术变迁,从最早的人力手动打分,后面又使用gbdt模型有了很大的提高,再是顺应时代变迁在神经网络有持续性的探索,最后收获了满意的结果。搜索排序模型的主要生态...原创 2019-04-20 15:20:08 · 476 阅读 · 0 评论 -
阿里CTR预估三部曲(2):Deep Interest Evolution Network for Click-Through Rate Prediction简析
##阿里CTR预估三部曲(2):Deep Interest Evolution Network for Click-Through Rate PredictionIntroduction作者提出以前的CTR预估方法都是直接将用户表现的表示向量当作兴趣而没有通过具体的表现对隐藏的兴趣进行建模。因此提出DIEN,而DIEN有两个关键模块。一个是从具体的用户表现中抽取潜在的兴趣,主要是利用GRU+一...原创 2019-05-31 21:21:53 · 1076 阅读 · 0 评论 -
Behavior Sequence Transformer for E-commerce Recommendation in Alibaba简析
Behavior Sequence Transformer for E-commerce Recommendation in AlibabaIntroduction文章指出之前的WDL和DIN都没有对序列信号进行很好的捕捉,同时受transformer的启发,文章提出了BST(behavior sequence transformer)来对序列信息进行捕捉生成合适的embedding,后送入M...原创 2019-06-09 11:02:13 · 2696 阅读 · 0 评论 -
Attention-Based Transactional Context Embedding for Next-Item Recommendation简析
Attention-Based Transactional Context Embedding for Next-Item RecommendationAbstract目前大多数存在的基于事物的推荐系统主要考虑最近出现的物品而不是全部物品。同时,他们也假设在一个事物中的物品是有固定顺序的,但是并不切实际。而且,一个长的事务经常包含很多与下一次选择无关的物品。因此作者提出ATEM来衡量不同物品的...原创 2019-07-01 11:41:44 · 783 阅读 · 1 评论 -
ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation简析
ATRank: An Attention-Based User Behavior Modeling Framework for RecommendationIntroduction正如一个单词可以通过其上下文来表示,那么一个用户也可以通过其过往的行为序列来表示。但随着技术的发展,越来越多样化的用户行为可以被捕捉并保存在数据库中,使得用户行为表现出异构性,高度多样性。以电商领域的推荐为例、一个用...原创 2019-07-01 11:37:57 · 1320 阅读 · 0 评论 -
Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction简析
Practice on Long Sequential User Behavior Modeling for Click-Through Rate PredictionIntroduction文章将用户表现建模分解为两个视角。从服务系统的角度,作者设计了一个用户兴趣中心模块(UIC),UIC维护用户最新的兴趣表示向量。从机器学习算法的角度,作者提出了MIMN(多信道的用户兴趣内存网络),借鉴于...原创 2019-06-24 21:01:27 · 1878 阅读 · 0 评论 -
Latent Cross: Making Use of Context in Recurrent Recommender Systems简析
Latent Cross: Making Use of Context in Recurrent Recommender SystemsIntroduction在本文中,作者首先研究了在前馈神经网络中将情景特征直接构造出特征的方式对于捕捉特征交叉效果一般。然后作者介绍了Youtube中使用的RNN模型,最后提出了Latent Cross模型,通过将情景特征和RNN中隐状态做点积的方式将情景信息...原创 2019-06-24 20:59:48 · 1377 阅读 · 0 评论 -
Sequential Scenario-Specific Meta Learner for Online Recommendation简析
Sequential Scenario-Specific Meta Learner for Online RecommendationIntroduction 冷启动是个长期存在的挑战对于一般的推荐场景来说。大多数推荐算法依赖于大量的观察数据,以及对于没什么联系的推荐算法产生不了足够好的效果。为了解决这个问题,文章使用了few-shot learning以及meta learning,提出了...原创 2019-06-16 21:29:30 · 932 阅读 · 0 评论 -
NAIS: Neural Attentive Item Similarity Model for Recommendation简析
NAIS: Neural Attentive Item Similarity Model for RecommendationPRELIMINARIESStandard Item-based CF为了预测用户u对于物品i的评分,ItemCF的最基本思想是计算物品i与用户u之前交互过的所有物品的相似性,预测评分计算公式如下:Ru+R_u^+Ru+是用户交互过的所有物品,sijs_{ij}...原创 2019-06-16 21:25:54 · 1107 阅读 · 0 评论 -
Learning and Transferring IDs Representation in E-commerce简析
Learning and Transferring IDs Representation in E-commerceIntroduction传统的编码不能很好的反应IDs之间的关系以及是高维稀疏的,因此作者提出一个基于embedding的框架来学习以及迁移IDs的表示。最近word embedding技术深入人心,通过捕捉单词语法及语义之间的关系从而将单词映射到低维表示向量中。借鉴于word...原创 2019-06-16 21:23:22 · 664 阅读 · 0 评论 -
Multi-Task Feature Learning for Knowledge Graph Enhanced Recommendation简析
Multi-Task Feature Learning for Knowledge Graph Enhanced RecommendationIntroduction在该论文中,将推荐系统和知识图谱建模视为两个分离但是相关的任务,设计了一个多任务学习的框架,利用知识图谱建模任务来辅助推荐系统任务。这两个任务之所以相关,是因为推荐系统中的一个物品会和一个或多个知识图谱中的实体相对应,因此,它们在...原创 2019-06-09 16:31:14 · 2931 阅读 · 0 评论 -
Cross-domain Recommendation Without sharing User-relevant Data简析
Cross-domain Recommendation Without sharing User-relevant Data介绍为了联合不同网站的相同数据以提高 推荐质量,但是为了避免商业隐私,文章不使用用户相关的数据,而仅仅使用item的信息,同时为了有效的发掘有用的信号,文章使用了一种新的方法NATR(Neural Attentive Transfer Recommendation)架构...原创 2019-05-04 21:06:00 · 1350 阅读 · 1 评论 -
Relational Collaborative Filtering: Modeling Multiple Item Relations for Recommendation简析
Relational Collaborative Filtering: Modeling Multiple Item Relations for Recommendation介绍作者介绍了一种新颖的基于item的协同过滤框架——关系型的协同过滤,利用two-level的hieraychy将多个item关系利用attention整合形成user preference以及提高item embedd...原创 2019-05-02 23:34:12 · 1319 阅读 · 2 评论 -
Attention Is All You Need简析
Attention Is All You Need介绍文章提出的transformer,使用注意力机制,对于资源的要求更低,却同样能达到state-of-the-art的效果。整体框架EncoderEncoder由6个相同的层组成,每层都有两个子层,一个是self-attetion机制,一个是全连接的前向网络。在子层之间也使用了残差连接与layer nomalization。Deco...原创 2019-05-01 21:45:00 · 338 阅读 · 0 评论 -
GCN:Graph Convolutional Neural Networks for Web-Scale Recommender Systems简介
Graph Convolutional Neural Networks for Web-Scale Recommender Systems摘要作者们开发了一个数据高效的GCN算法PinSage,该算法联合有效的random walk以及图卷积来生成涵盖图结构和结点特征的嵌入结点。相对于之前的GCN方法,作者提出了高效的random walk方法同时设计了一个新颖的训练策略以提高模型的收敛性和鲁...原创 2019-03-10 21:38:44 · 2821 阅读 · 1 评论 -
Semi-Supervised Classification with Graph Convolutional Networks简介
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS摘要文章呈现了一种可缩放的半监督学习方法,利用卷积神经网络变种来进行图结构数据的学习。通过spectral graph convolution(谱图卷积)的局部一阶近似来确定卷积网络结构。隐藏层的表示是通过编码局部图结构以及结点特征来进行。介绍作者主要贡献:介...原创 2019-03-10 13:25:38 · 5657 阅读 · 1 评论 -
Pixie: A System for Recommending 3+ Billion Items to 200+ Million Users in Real-Time简介
Pixie: A System for Recommending 3+ Billion Items to 200+ Million Users in Real-Time摘要作者呈现了Pixie——一个基于图的实时推荐系统,输入一系列用户相关的pins作为查询,然后Pixie会实时地从上亿的可能pins中找到与查询最相关的结果。介绍Pinterest具有主要两个挑战:数据量与实时性。实时性...原创 2019-03-02 19:02:05 · 1001 阅读 · 0 评论 -
Image-based Recommendations on Styles and Substitutes简介
Introduction该文章致力于利用对象的外貌来发现他们隐含的关系,从而找到互相补充的产品与可替代的产品。The Model利用shifted sigmoid函数来将相对距离转换为概率。至于如何计算距离,文章通过横向对比三个距离计算方法,最终得出以下方法。Style spacesi=xiYs_i=x_iYsi=xiY,通过让图像特征xix_ixi与上述Y变量相乘,相当于...原创 2019-02-18 12:38:25 · 784 阅读 · 0 评论 -
DNN for Youtube Recommend System简介
Abstract这篇论文主要详细讲述了深度候选生成模型以及描述了一个深度排序模型。同时也提供了practical lessons and insights。IntroductionYouTube推荐面临三个挑战:规模:数据规模大,在小数据集上运行好的算法对youtube不适用更新频率:youtube视频更新频率很高,每秒有小时级别的视频上传,需要在新发布视频和已有存量视频间进行bala...原创 2019-01-14 12:19:34 · 1773 阅读 · 0 评论 -
VBPR: Visual Bayesian Personalized Ranking from Implicit Feedback简介
Preference Predictor预测模型如下:图片特征通过CNN进行提取,将图片特征与潜在的特征联合在一起进行推荐###Model Learning Using BPRThe following optimization criterion is used for personalized ranking (BPR-OPT):When using Matrix Facto...原创 2019-01-14 12:15:57 · 1976 阅读 · 1 评论 -
DeepFM: A Factorization-Machine based Neural Network for CTR Prediction简介
Abstract对于一个基于CTR预估的推荐系统,最重要的是学习到用户点击行为背后隐含的特征组合。在不同的推荐场景中,低阶组合特征或者高阶组合特征可能都会对最终的CTR产生影响。但是现存的方法总是忽视了高阶或低阶组合特征的联系,或者要求专门的特征工程,因此作者建立了DeepFM模型,将FM与DNN结合起来。IntroductionDeepFM的预测结果可以写为: y^=sig...原创 2019-01-07 19:44:21 · 1444 阅读 · 0 评论 -
FFM:Field-aware Factorization Machines for CTR Prediction简介
摘要FM被广泛应用在CTR,但是FFM在一些世界范围的CTR竞赛表现好于目前存在的模型。作者实现了相关代码,并与一些竞争模型进行了全面的分析。实验证明FFM在某些分类问题上非常有用。介绍FFM对于这个例子来说,FM的隐向量表示应该为:在FM中,每个特征只有一个隐向量来学习隐性的影响。拿ESPN来做例子,wESPNw_{ESPN}wESPN被用来学习隐性的与Nike和Male的影响,...原创 2018-12-31 14:34:13 · 459 阅读 · 0 评论 -
DCN:Deep & Cross Network for Ad Click Predictions简介
Deep & Cross Network for Ad Click Predictions摘要作者起草了DCN,该网络可以保持DNN的优点(隐式地生成特征之间的交互),同时又利用交叉网络来对特征进行显式的交叉计算。这也不要求手工的特征工程,同时只是在DNN的基础上加了一些可容忍的复杂度。实验证明DCN已经在CTR预估与分类问题上超过了sota。介绍对于web伸缩型的推荐系统,因为其...原创 2019-03-16 16:16:39 · 1893 阅读 · 0 评论 -
GNN:Session-based Recommendation with Graph Neural Networks简介
Session-based Recommendation with Graph Neural Networks摘要作者提出SR-GNN,将session序列建模为图结构数据。在session图的基础上,GNN可以捕捉到items的复杂转换。每一个session利用注意力机制将整体偏好与当前偏好结合进行表示。介绍作者diss了基于马尔可夫链的工作非常依赖数据独立性的假设的。利用RNN的...原创 2019-03-17 11:26:35 · 5265 阅读 · 5 评论 -
Sequential Recommendation with User Memory Networks简介
Sequential Recommendation with User Memory NetworksAbstract存在的推荐系统算法总是将用户历史记录embed成一个单一隐式表示,这可能会失去一些特征或物品的关联性。因此作者提出记忆增强的神经网络与协同过滤的思想进行整合从而作出推荐。通过借助外部的记忆矩阵,作者可以存储并更新用户的历史记录,这有效的提高了模型的表达能力。Introduct...原创 2019-04-15 10:12:27 · 2007 阅读 · 3 评论 -
Next Item Recommendation with Self-Attention简介
Next Item Recommendation with Self-AttentionIntroduction文章介绍了一种新的神经序列推荐模型。可以学到长期与短期的序列表示。采用的是自注意力机制。THE PROPOSED MODEL: ATTRECShort-Term Intents Modelling with Self-Attention输入:query和key进行非线性转换...原创 2019-04-21 21:42:08 · 1352 阅读 · 0 评论 -
Beyond Short Snippets: Deep Networks for Video Classification简介
Beyond Short Snippets: Deep Networks for Video ClassificationAbstract使用在imageNet上预训练过的CNN(AlexNet或者GoogleLeNet)提取帧级特征,再将帧级特征和提取到的光流特征输入到池化框架或者LSTM进行训练,得到分类结果。Introduction1.提出采用CNN来得到视频级的全局描述,并且证明增大...原创 2019-04-08 11:02:02 · 555 阅读 · 0 评论 -
YouTube-8M: A Large-Scale Video Classification Benchmark简介
YouTube-8M: A Large-Scale Video Classification BenchmarkAbstract作者以1帧每秒的速度解码视频,同时利用预训练在imagenet上的Deep CNN来抽取隐藏的表征。Introduction作者首先利用youtube 视频标注系统对youtube-8m进行标注,同时利用包括人力手动过滤的过滤规则对标签进行相应的筛选同时作者也提出...原创 2019-04-08 11:00:12 · 3884 阅读 · 0 评论 -
FNN:Deep Learning over Multi-field Categorical Data简介
Deep Learning over Multi-field Categorical DataMain content文章主要介绍了一种FNN神经网络结构:输入数据都是离散数据,经过one-hot生成离散稀疏的数据。与FFM中的field的概念类似,每个field中只有一个值是1,其余为0。z层的运算等同于FM的运算,利用了预训练好的FM的一次项和二次项作为初始化将原始数据作特殊的embed...原创 2019-04-01 09:41:55 · 390 阅读 · 0 评论 -
GBDT+LR:Practical Lessons from Predicting Clicks on Ads at Facebook简介
Practical Lessons from Predicting Clicks on Ads at Facebook整体思路文章主要将gbdt与lr融合,效果得到较大的提升。图中共有两棵树,x为一条输入样本,遍历两棵树后,x样本分别落到两颗树的叶子节点上,每个叶子节点对应LR一维特征,那么通过遍历树,就得到了该样本对应的所有LR特征。构造的新特征向量是取值0/1的。举例来说:上图有两棵树...原创 2020-01-07 21:24:46 · 429 阅读 · 0 评论 -
Feature Re-Learning with Data Augmentation for Content-based Video Recommendation简介
Feature Re-Learning with Data Augmentation for Content-based Video RecommendationIntroduction作者主要将特征再学习,使得在对应的特征空间相关性强的点能够靠的比较接近比原始的特征空间。Proposed solutionAugmentation for frame-level features采用sk...原创 2019-03-30 21:16:29 · 241 阅读 · 0 评论 -
GNN:Graph Neural Networks for Social Recommendation简介
Graph Neural Networks for Social RecommendationAbstract基于GNN建立社交推荐系统有很多的挑战,因此作者提出了GraphRec框架。作者提供了一种有原则的方法来联合捕获用户-项目图中的交互和意见,并提出了框架GraphRec,该框架连贯地对两个图和异构优势进行建模。Introduction作者提出三个问题:如何整合user-user...原创 2019-03-25 10:47:26 · 6238 阅读 · 13 评论