![](https://img-blog.csdnimg.cn/20190918140213434.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
CTR
文章平均质量分 88
在科研中,进行文献调研时阅读的论文记录于此
工藤旧一
小米公司 搜索算法工程师
展开
-
LambdaMART原理浅析
文章目录1、算法介绍1.1 LambdaMart的历史演变1.1.2 RankNet1.1.3 LambdaRank1.2 LambdaMart原理1、算法介绍1.1 LambdaMart的历史演变Lambdamart是一种用于排序的机器学习算法。像这种在排序问题中用到的机器学习算法,被统称为 Learning to Rank (LTR) 算法,或者 Machine-Learning Rank (MLR) 算法。LTR 算法通常有三种手段,分别是:Pointwise、Pairwise 和 Listw原创 2021-05-12 09:52:33 · 3787 阅读 · 1 评论 -
IFM论文介绍
文章目录1、提出原因2、模型介绍1、预估公式2、网络结构1、Embedding Layer2、Factor Estimating Network3、Reweighting Layer4、FM Prediction Layer3、实验表现IFM:样本感知的FM模型——An Input-aware Factorization Machine for Sparse Prediction1、提出原因提出了一种从全新的角度来改进 FM 的方法,尝试优化特征在不同实例场景下的表示。在实际应用中,同一特征能通常在原创 2021-03-17 11:13:14 · 1323 阅读 · 1 评论 -
最近看到的几篇最新推荐论文分享
1、Generalized Embedding Machines for Recommender Systems链接:https://arxiv.org/pdf/2002.06561简介:该文是一篇改进因子分解机用于推荐的文章。在这项工作中,提出了一种在嵌入层面上对高阶交互信号进行建模的替代方法,即通用嵌入机(GEM)。2、Jointly Learning to Recommend and Advertise链接:https://arxiv.org/pdf/2003.00097简介:该文提出了一个原创 2020-12-03 10:30:22 · 386 阅读 · 0 评论 -
论文翻译:How to Retrain Recommender System A Sequential Meta-Learning Method
论文翻译:How to Retrain Recommender System? A Sequential Meta-Learning Method一、Abstract实际的推荐系统需要周期性地进行再训练,以获得新的交互数据来更新模型。为了追求较高的模型逼真度,通常需要根据历史数据和新数据对模型进行再训练,因为它需要同时考虑长期和短期用户偏好。然而,一个完整的模型再训练可能非常耗时,而且内存开销很大,特别是在历史数据规模很大的时候。在本文中,我们研究了推荐系统的模型再培训机制,这是一个具有很高实用价值的课原创 2020-06-19 11:00:51 · 746 阅读 · 0 评论 -
KDD cup 2020 推荐系统赛道介绍(含baseline 0.25)
KDD Debiasing 赛题理解一、解决什么问题?A. 大主题: 为了解决多模态数据情境下(短视频,微博,明星带货等新的零售业务场景),推荐 系统面临的数据统筹,平衡和挖掘挑战。B. 具体问题 解决目前推荐系统的马太效应(曝光范围越来越窄的问题)。 能获胜的解决方案需要在历史数据中出现很少的物品上预测表现良好,所以消除 click data 偏差至关重要。 为了更贴近线下训练,线上测试的真实业务场景,训练集和测试集也有一定差距。 (主要体现在 trends 和 item popularity)原创 2020-05-15 20:14:14 · 1935 阅读 · 0 评论 -
主线4.2DCN代码复现及解析
DCN的原理部分可以参考博客https://blog.csdn.net/weixin_45459911/article/details/105338275DCN与DeepFM的区别可以直观的理解为将DeepFM的FM部分替换为cross网络(当然实际是有很大区别的,不过可以这样直观了解)所以我们对照DeepFM的代码部分来着重看一下它们的区别所在。一、DCN模型1、数据输入self.feat_index = tf.placeholder(tf.int32,原创 2020-05-10 10:01:53 · 681 阅读 · 0 评论 -
主线3.2DeepFM模型代码实现和解析
DeepFM模型的论文阅读原理部分可以参见这一篇博客:https://blog.csdn.net/weixin_45459911/article/details/105359982本文就来讲述一下DeepFM的代码部分(代码参考自https://github.com/princewen/tensorflow_practice/tree/master/recommendation/Basic-DeepFM-model)一、DeepFM模型构建1、模型参数"""模型参数"""dfm_params =原创 2020-05-10 08:37:41 · 434 阅读 · 0 评论 -
主线2.2FFM算法代码实现和解析
原理部分可查看博客添加链接描述接下来就开始代码实现和解析(源代码参考自:https://github.com/princewen/tensorflow_practice/tree/master/recommendation/recommendation-FFM-Demo有一定的改动)数据生成部分:def gen_data(): labels = [-1, 1] y = [n...原创 2020-05-06 18:28:29 · 360 阅读 · 0 评论 -
主线1.2FM算法的Python实现
算法原理部分可以查看博客主线1.1FM算法原理详解本文就直接上代码了,相关说明都在代码注释里。# coding:UTF-8from __future__ import divisionfrom math import expfrom numpy import *from random import normalvariate # 正态分布from datetime import ...原创 2020-05-06 16:38:06 · 244 阅读 · 0 评论 -
深度学习中常用的优化算法
机器学习几乎所有的算法都要利用损失函数 lossfunction 来检验算法模型的优劣,同时利用损失函数来提升算法模型。而这个提升的过程就叫做优化(Optimizer)。下面的内容就是记录一下在深度学习中常用到的几种优化算法,以备日后查询。1、SGD、BGD、Mini-BGD把这三个放到一起是因为其有很多共性,接下来就来一一介绍:1、SGD(随机梯度下降)SGD(stochastic g...原创 2020-04-28 14:53:57 · 3348 阅读 · 3 评论 -
AFM代码解析及tensorflow复现
文章目录前言基本设置初始化:模型输入权重构建Attention部分权重Embedding LayerAttention Net预测输出完整代码前言AFM模型原理可以查看这一篇博客https://blog.csdn.net/weixin_45459911/article/details/105766638本文就根据AFM的原理,将公式转化为代码进行解析和复现。原始代码参考自:https://g...原创 2020-04-27 19:27:08 · 1139 阅读 · 0 评论 -
论文阅读:(AFM)Learning the Weight of Feature Interactions via Attention Networks
文章目录摘要算法原理1、基本原理2、网络结构3、过拟合摘要AFM全称是Attentional Factorization Machine,和NFM是同一个作者,NFM的解析可以参考这篇博客:https://blog.csdn.net/weixin_45459911/article/details/105702981AFM是在FM上的改进,它最大的特点就是使用一个attention netwo...原创 2020-04-26 13:25:46 · 418 阅读 · 0 评论 -
论文阅读:(NFM)Neural Factorization Machines for Sparse Predictive Analytics
文章目录摘要一、Introduction二、NFM基本原理1、系统框架1、Embedding Layer2、Bi-Interaction Layer3、Hidden Layer4、Prediction Layer2、 NFM vs Wide&Deep、DeepCross三、训练1、目标函数2、参数估计3、Dropout4、Batch Normalization四、实验部分1、数据集2、实验...原创 2020-04-23 13:58:34 · 1059 阅读 · 0 评论 -
DeepFM代码详解及Python实现
文章目录摘要一、数据预处理部分二、DeepFM部分1、FM部分的特征向量化2、Deep部分的权重设置3、网络传递部分4、loss5、梯度正则6、完整代码三、执行结果和测试数据集摘要DeepFM原理部分可以参看博客https://blog.csdn.net/weixin_45459911/article/details/105359982,本文就着重介绍其代码复现部分的内容。本文所写的代码参考...原创 2020-04-14 14:30:28 · 3394 阅读 · 5 评论 -
FFM代码详解及python复现
文章目录摘要一、FFM模型1、导入库2、节点类3、FFM模型构建1、初始化2、参数计算3、预测值4、更新参数5、训练6、序列化模型7、加载模型二、运行部分摘要这是一篇我看过的比较详细的用tensorflow实现的FFM模型https://www.cnblogs.com/wkang/p/9788012.html但是里面的代码部分都是截图,而且因为使用的是tensorflow,虽然代码编写便捷...原创 2020-04-13 22:30:27 · 1719 阅读 · 3 评论 -
如何查找论文的源代码
介绍两个用于查询论文源代码的网站并介绍一些常用的获取code的办法1、https://paperswithcode.com/操作如下图所示,左上角输入名字,便会出来结果,然后点击code部分即可2、https://www.profillic.com/paper/arxiv:1701.04099这个网站也是类似的操作3、如果是经典文章,那code往往网上一搜一大片,如果是比较新的文章,...原创 2020-04-13 12:38:58 · 57128 阅读 · 11 评论 -
推荐系统CTR技术的演变历史
文章目录一、前言二、逻辑回归时代1、LR2、GBDT+LR三、深度学习时代1、FM2、FFM一、前言本文仅简单记叙推荐系统中CTR技术的一些历史演变,或许能够在抓耳挠腮想idea的时候从历史进程中获得一些灵感,对于一些具体的技术细节并不详细展开。在讲述之前,先了解一下CTR任务的特点:大量离散特征大量高维度稀疏特征特征工程(特征组合)对于效果非常重要二、逻辑回归时代1、LR这个阶...原创 2020-04-09 18:50:43 · 1140 阅读 · 0 评论 -
FM训练代码解析(含数据集切分代码)
用代码来解决一个分类问题数据集来自于github上的糖尿病患者数据集,进行了3:7的随机切分对数据集进行切分的代码为1、数据集切分代码# 引入所需包import numpy as npimport random#读取数据函数,输入为数据文件名和训练、测试切分比率,返回为list类型的训练数据集和测试数据集def loadData(fileName,ratio): tr...原创 2020-04-08 21:20:16 · 990 阅读 · 0 评论 -
主线3.1DeepFM模型论文阅读:DeepFM: A Factorization-Machine based Neural Network for CTR Prediction
文章目录一、摘要二、模型演变和各模型间的对比1、CTR的任务要求2、DeepFM模型的引入3、各模型间的对比4、DeepFM优势三、DeepFM模型介绍1、FM部分2、Deep部分一、摘要对于一个基于CTR预估的推荐系统,最重要的是学习到用户点击行为背后隐含的特征组合。在不同的推荐场景中,低阶组合特征或者高阶组合特征可能都会对最终的CTR产生影响。但是现存的方法总是忽视了高阶或低阶组合特征的联...原创 2020-04-07 20:23:48 · 1068 阅读 · 0 评论 -
主线4.1DCN论文阅读:Deep & Cross Network for Ad Click Prediction
文章目录一、摘要二、介绍1、嵌入和堆叠层一、摘要这篇论文是Google 对 Wide & Deep(想了解这个模型可以点击这里)工作的一个后续研究,文中提出 Deep & Cross Network,将Wide部分替换为由特殊网络结构实现的Cross,自动构造有限高阶的交叉特征,并学习对应权重,告别了繁琐的人工叉乘。二、介绍Deep & Cross的网络结构如下图所...原创 2020-04-06 10:40:42 · 545 阅读 · 0 评论 -
论文阅读:Wide & Deep Learning for Recommender Systems
文章目录一、模型引入原因1、线性模型2、DNN结构(非线性)3、Memorization与Generalization二、模型结构1、wide部分2、DNN部分3、Wide&Deep部分三、工程实现1、Data Generation2、Model Training3、Model Serving四、实验结果与总结五、代码实现一、模型引入原因在CTR应用中,常用的模型可以分为两类:线性模型...原创 2020-04-03 14:55:46 · 396 阅读 · 1 评论 -
推荐系统中常说的长尾分布是什么意思?
在深度学习,尤其是推荐系统中经常会见到“长尾”这个词。那么今天就来简单说一下其意思。长尾(The Long Tail)这一概念是由“连线”杂志主编克里斯·安德森(Chris Anderson)在2004年十月的“长尾” 一文中最早提出,用来描述诸如亚马逊和Netflix之类网站的商业和经济模式。如图所示,右边蓝色长长的部分便是长尾。举个例子来简单理解一下比如手机市场,可能某果和某为手机近...原创 2020-04-02 21:41:03 · 7815 阅读 · 1 评论 -
论文阅读:(FNN和SNN)Deep Learning over Multi-field Categorical Data
文章目录一、摘要二、介绍三、相关工作四、FNN模型介绍五、SNN模型介绍六、实验1、数据集2、性能对比3、超参数的调试4、结构选择和正则化比较5、参数分析一、摘要前置说明:这是一篇在2016年发表的论文,提出了基于FM预训练获取离散特征embedding表示,结合DNN来进行CTR的预估。因为思想并不复杂,所以本文就只选择重要内容进行记录。在进行用户点击率预测的时候,常用的用户反馈模型就两种...原创 2020-04-02 15:42:16 · 1220 阅读 · 1 评论 -
迅速了解Embedding层的作用
在阅读深度学习类论文的时候,经常会见到embedding这个名词,却一直不知道其具体含义是什么,遂查询了很多资料,终于明白了其作用,记录于此,希望能帮助对此同样疑惑 的人。1、在讲embedding之前必须要先说一下独热编码(one-hot),如果你已经对其有一定了解,可以跳过这一段。独热编码(one-hot)的作用很简单,就是把特征全都用0、1来表示,直接看个例子:有四类人:老年人、中年人...原创 2020-04-01 20:55:20 · 4585 阅读 · 0 评论 -
推荐系统的评价指标及其Python实现
文章目录摘要一、用户满意度二、预测准确度1、流程2、评分推荐3、topN推荐4、评分推荐和topN推荐比较三、覆盖率1、定义2、信息熵:![在这里插入图片描述](https://img-blog.csdnimg.cn/20200331095842285.png)3、基尼系数(Gini Index)四、其余常用指标1、多样性2、新颖性3、惊喜度4、信任度5、实时性6、健壮性/鲁棒性摘要在上一篇博...原创 2020-03-31 10:17:44 · 3689 阅读 · 0 评论 -
精确率、召回率、F1 值、ROC、AUC等分类模型评价指标含义与作用详解
文章目录摘要一、精确率、召回率、F函数、准确率和错误率1、定义2、区别与应用二、ROC曲线、P-R曲线、AUC1、P-R曲线2、ROC曲线3、AUC摘要在涉及机器学习领域的分类问题时(尤其是衡量推荐系统性能时),经常会遇到诸如准确率、召回率、ROC、AUC等名词。本文就来详细阐述一下各类评价指数的具体含义和特点。一、精确率、召回率、F函数、准确率和错误率1、定义结合混淆矩阵进行说明1...原创 2020-03-30 21:44:36 · 11845 阅读 · 0 评论 -
主线2.1FFM算法原理详解
一、FFM原理介绍:1、FFM的引入:FFM(Field-aware Factorization Machine)其实就是FM的进阶版,我们先来回顾一下FM的公式:其中,样本x是n维向量,xi是第i个维度上的值。vi是xi对应的长度为K的隐向量,V是模型参数,所以所有样本都使用同一个V,即x1,1与x2,1都使用v1。FFM则是将隐向量v又进一步细化(引入了field的概念,即将特征所在...原创 2020-03-26 22:29:14 · 1618 阅读 · 0 评论 -
主线1.1FM算法原理详解
文章目录一、FM算法原理1、什么是FM2、为什么引入FM(FM优势)3、交叉项分解推导4、权值求解(迭代更新)二、Python实现本文参考自:https://www.cnblogs.com/wkang/p/9588360.html,结合自身的理解和思考进行了改动与补充一、FM算法原理1、什么是FMFM全称为Factor Machine,中文翻译为因子分解机。2、为什么引入FM(FM优势)...原创 2020-03-23 21:20:14 · 1211 阅读 · 0 评论