Attention系列
文章平均质量分 91
记录attention系列论文笔记,便于以后查阅
工藤旧一
小米公司 搜索算法工程师
展开
-
论文阅读:Dual-attentionalFactorization-MachinesbasedNeuralNetwork forUserResponsePrediction
原创 2020-07-07 19:49:54 · 262 阅读 · 0 评论 -
AFM、AutoInt等推荐系统系列论文摘要图
原创 2020-07-02 14:50:18 · 276 阅读 · 0 评论 -
IFM论文笔记:Interaction-aware Factorization Machines for Recommender Systems
Abstract本文是对FM的改进,FM无差别的对待每个特征交互的行为是不好的。所以本文提出了IFM,在feature方面和field方面加入柔性交互——feature方面用attention网络实现;field方面通过特征交互向量和相应场交互原型的参数相似性学习特征交互效果。并在两个知名数据集上进行了实验。1、Introduction(前面几乎是完整的介绍了一遍推荐模型的演变过程…)提出FM两个缺陷:feature方面:无用特征的交互会引入噪声;平等地对待每个特征交互会降低性能。field方原创 2020-06-29 15:45:14 · 1007 阅读 · 0 评论 -
OENN论文笔记
Order-awareEmbeddingNeuralNetworkforCTRPredictionAbstract共享的Embedding存在两个问题:不同阶特征交互的角度可能冲突;高阶特征交互的梯度可能消失,从而导致学习的特征交互效果较差。于是提出了一种新的Order-aware Embedding,对每个特征学习多个Embedding,并且不同阶次的特征交互应用不同的Embedding。(这有点像Input-aware FM)Key words: CTR Prediction; Feat原创 2020-06-23 10:29:34 · 575 阅读 · 0 评论 -
AutoInt论文笔记
AutoIntAbstractCTR的本质工作:寻找稀疏高维特征的低维表示与有效组合。本文提出AutoInt可以自动获取高阶特征的交互。1、Introduction2、Related WorkNFM、PNN、FNN等进行特征的隐式交互,缺乏解释性关于解释性主要有以下三个方向:Deep&Cross、xDeepFM等显式交互,但仍缺乏解释树模型,利用embedding加树模型,但是训练要分多步骤进行HOFM,高阶交互可解释性3、Problem Definition原创 2020-06-23 10:08:53 · 2968 阅读 · 0 评论