推荐系统
文章平均质量分 62
推荐系统
WGS.
道阻且长,与君共勉:你若对得起时间,时间便会对得起你。
展开
-
DeepMCP网络详解
CTR预估:DeepMCP网络详解原创 2022-08-03 15:03:52 · 273 阅读 · 0 评论 -
DIFM网络详解及复现
DIMF网络详解,及torch复现原创 2022-08-01 17:03:30 · 436 阅读 · 0 评论 -
IFM网络详解及torch复现
IFM网络详解及torch复现原创 2022-07-28 15:17:03 · 323 阅读 · 0 评论 -
AutoInt网络详解及pytorch复现
AutoInt网络详解及pytorch复现原创 2022-07-26 22:04:14 · 811 阅读 · 1 评论 -
FiBiNet torch复现
pytorch 复现 FiBiNet原创 2022-07-21 16:51:41 · 264 阅读 · 0 评论 -
CTR --- FGCNN论文阅读笔记,及tf2复现
文章目录摘要1. 介绍2. 卷积神经网络模型的特征生成2.1 概貌2.2 Feature Embedding2.3.1 Convolutional Layer2.3.2 Pooling Layer2.3.3 Recombination Layer2.3.4 Concatenation2.4 Deep Classifier2.4.1 Network Structure2.4.2 Batch Normalization2.4.3 Objective Function.3. paper结果tf2 复现原文链接:原创 2022-02-09 16:22:58 · 858 阅读 · 3 评论 -
tf2实现---GBDT+FM
和GBDT+LR目标几乎一致,利用GBDT自动进行特征筛选和组合,进而形成新的离散特征向量,再把该特征向量当做FM的输入,进行二阶特征交叉。有关GBDT+LR的文章请看:https://blog.csdn.net/qq_42363032/article/details/112756687直接给出基于tf2实现的GBDT+FM代码:# coding:utf-8# @Time: 2022/1/18 3:35 下午# @File: GBDT_FM.pyimport timeimport nump原创 2022-01-18 15:39:02 · 1165 阅读 · 0 评论 -
CTR --- DIEN论文阅读笔记,及tf2复现
文章目录前言DIN和DIEN的总体思路DIN对兴趣建模的缺点DIEN对兴趣建模的思路结构行为序列层(Behavior Layer)兴趣抽取层(Interest Extractor Layer)辅助损失兴趣进化层(Interest Evolving Layer)兴趣演化的特点作用注意力机制的计算DIN中注意力得分结合的方式DIEN中注意力得分结合方式(AUGRU)tf2实现前言因为DIEN是GRU和推荐网络的结合,所以有关序列模型部分请看博主的这篇文章:https://blog.csdn.net/qq_原创 2022-01-07 15:37:54 · 1044 阅读 · 3 评论 -
CTR --- DIN论文阅读笔记,及tf2复现(全网之最)
总结笔记之前已经发过,这里直接贴出tf2实现的代码https://blog.csdn.net/qq_42363032/article/details/121951588?spm=1001.2014.3001.5501# coding:utf-8# @Email: wangguisen@infinities.com.cn# @Time: 2022/1/5 5:00 下午# @File: ctr_DIN.py'''DIN'''import numpy as npimport tensorfl原创 2022-01-07 15:26:49 · 746 阅读 · 3 评论 -
CTR --- AFM论文阅读笔记,及tf2复现
文章目录注意力机制提出动机解决方案举例理解结构基于注意力机制的池化层综合上述注意力机制的计算理解tf2实现注意力机制提出动机解决方案把注意力机制引到里面去,来学习不同交叉特征对于结果的不同影响程度。举例理解结构基于注意力机制的池化层综合上述注意力机制的计算理解tf2实现# coding:utf-8# @Email: wangguisen@infinities.com.cn# @Time: 2022/1/4 5:14 下午# @File: ctr_AFM.py原创 2022-01-07 15:23:39 · 506 阅读 · 5 评论 -
CTR --- NFM论文阅读笔记,及tf2复现
文章目录提出动机结构特征交叉池化层特点工程化结构tf2实现提出动机结构特征交叉池化层特点工程化结构tf2实现# coding:utf-8# @Email: wangguisen@infinities.com.cn# @Time: 2022/1/4 11:12 上午# @File: ctr_NFM.py'''NFM'''import numpy as npimport tensorflow as tffrom tensorflow.keras import laye原创 2022-01-07 15:17:27 · 636 阅读 · 0 评论 -
CTR --- DeepFM论文阅读笔记,及tf2复现
文章目录提出动机结构共享embedding的好处tf2实现提出动机结构共享embedding的好处tf2实现# coding:utf-8# @Email: wangguisen@infinities.com.cn# @Time: 2021/12/30 5:45 下午# @File: ctr_DeepFM.py'''DeepFM'''import numpy as npimport tensorflow as tffrom tensorflow.keras import原创 2022-01-07 15:13:49 · 439 阅读 · 0 评论 -
CTR --- DeepCross(DCN)论文阅读笔记,及tf2复现
文章目录提出动机解决方案结构tf2实现提出动机解决方案结构tf2实现# coding:utf-8# @Email: wangguisen@infinities.com.cn# @Time: 2021/12/30 4:31 下午# @File: ctr_DCN.py'''DCN'''import numpy as npimport tensorflow as tffrom tensorflow.keras import layersfrom tensorflow.ker原创 2022-01-07 15:09:38 · 672 阅读 · 3 评论 -
CTR ---Wide&Deep论文笔记,及tf2实现
文章目录记忆能力泛化能力提出动机结构交叉积变换谷歌的实践tf2实现记忆能力泛化能力提出动机结构交叉积变换谷歌的实践tf2实现# coding:utf-8# @Email: wangguisen@infinities.com.cn# @Time: 2021/12/30 5:18 下午# @File: ctr_WDL.py'''WDL''''''WDL'''import numpy as npimport tensorflow as tffrom tens原创 2022-01-07 15:06:16 · 983 阅读 · 0 评论 -
CTR --- FNN原理,及tf2实现
文章目录提出动机解决方案结构作用优缺点tf2实现提出动机解决方案结构作用优缺点tf2实现# coding:utf-8# @Email: wangguisen@infinities.com.cn# @Time: 2022/1/4 3:26 下午# @File: ctr_FNN.py'''FNN'''import numpy as npimport tensorflow as tffrom tensorflow.keras import layersfrom te原创 2022-01-07 14:28:35 · 724 阅读 · 0 评论 -
CTR --- FM原理,及tf2实现
文章目录原理结构缺点tf2实现原理结构缺点因为组合爆炸问题,不能扩展到三阶或多阶。tf2实现# coding:utf-8# @Email: wangguisen@infinities.com.cn# @Time: 2021/12/30 3:44 下午# @File: ctr_FM.py'''FM'''import numpy as npimport tensorflow as tffrom tensorflow.keras import layersfrom tenso原创 2022-01-07 14:23:20 · 523 阅读 · 3 评论 -
DIN 论文读后分享(精华总结)
文章目录一、摘要&前言二、阿里展示广告系统中用户行为数据特征的背景介绍二、阿里广告业务特征&DIN提出思路三、DIN(DEEP INTEREST NETWORK 深度兴趣网络)3.1 提出思路3.2 具体方案3.3 特征表示3.4 base模型3.5 DIN结构3.6 Mini-batch Aware Regularization(基于mini batch的自适应正则)3.7 Data Adaptive Activation Function(数据自适应激活函数 Dice)四、GAUC五、代原创 2021-12-15 14:38:25 · 2128 阅读 · 0 评论 -
tf.device does not support functions when eager execution
在用deepctr训练DIEN的时候,出现如下错误:在调用DIEN之前,在main里声明:if tf.__version__ >='2.0.0': tf.compat.v1.disable_eager_execution()DIEN实现: https://blog.csdn.net/qq_42363032/article/details/121774193原创 2021-12-08 10:27:09 · 1884 阅读 · 0 评论 -
CTR---DIEN原理,及deepctr实现DIEN
原先在DIN中User Behaviors的部分现在分成了三层,第一层Behavior Layer,第二层Interest Extractor Layer,第三层Interest Evolving Layer。将用户行为序列embedding之后和其他特征embedding一起作为输入兴趣抽取层Interest Extractor Layer:用户行为序列送入GRU结构,使用t时刻及之前的序列抽取t时刻的兴趣(即GRU对应细胞的输出hth_tht)在兴趣抽取层中引入辅助loss,最大化hth_.原创 2021-12-07 17:19:37 · 1960 阅读 · 0 评论 -
CTR---DIN原理,及deepctr组网实现DIN
文章目录原理小结deepctr实现DIN(基于df的数据格式)原理小结Candidate Aditem,在这指广告特征。User profile features代表用户的特征。Context Features代表跟场景有关的特征,比如时间戳之类的。User Behaviors代表着用户行为特征。主要就是过去用户明确表示感兴趣的item统统都打包起来,我们看一个人不是看他说什么,是看他做什么,所以这些特征要重点关照。Activation Unit原创 2021-12-02 15:33:53 · 1648 阅读 · 1 评论 -
MLR原理及deepctr组网实现MLR
文章目录MLRdeepctr实现MLRMLRhttps://zhuanlan.zhihu.com/p/100532677https://blog.csdn.net/fyneru_xiaohui/article/details/106390266deepctr实现MLRimport os, warnings, time, sysimport pickleimport matplotlib.pyplot as pltimport pandas as pd, numpy as npfrom原创 2021-11-19 16:26:23 · 718 阅读 · 0 评论 -
deepctr实现xDeepFM
原理回归xDeepFM的架构从大致的体系来看, 包括五大部分(可参照deepFM):对原始 特征的Field形式包装,把 特征one-hot形式 包装进同一field来克服 稀疏性, 这里就对应包括构建特征字典 和 特征索引矩阵、特征值矩阵分解的问题。在embeding层对 样本做embeding转换,embeding其实相当于是 全连接层,进行embedding 按照 deepFM相似的形式 来获取每个样本长度为 field_size的 embedding表示,这样embedding后原创 2021-11-19 15:13:11 · 1109 阅读 · 0 评论 -
tf2.0 实现DeepFM
文章目录原理回顾基于tf2.0组网DeepFM基于deepctr实现DeepFM原理回顾左边用 FM 替换了 Wide&Deep 左边 的 Wide 部分,加强了浅层网络部分特征组合的能力右边的部分跟 Wide&Deep 的 Deep 部分一样,主要利用 多层神经网络进行所有特征的深层处理最后的输出层是把 FM 部分的输出和 Deep 部分的输出综合起来,产生最 后的预估结果。这就是 DeepFM 的结构详细请见这篇文章:https://blog.csdn.net/qq_4原创 2021-11-19 15:09:55 · 1714 阅读 · 0 评论 -
高维稀疏时,线性模型比非线性效果好的原因
现在的GBDT和LR的融合方案真的适合现在的大多数业务数据么?现在的业务数据是什么?是大量离散特征导致的高维度离散数据。而树模型对这样的离散特征,是不能很好处理的,要说为什么,因为这容易导致过拟合。下面的一段话来自知乎:https://www.freesion.com/article/2770862148/...转载 2021-09-27 14:24:16 · 440 阅读 · 0 评论 -
cannot import name ‘SparseFeat‘ from ‘deepctr.inputs‘
---------------------------------------------------------------------------ImportError Traceback (most recent call last)<ipython-input-5-5a794cf2cfcc> in <module> 3 from sklearn.model_selection import train原创 2021-09-15 14:33:32 · 1044 阅读 · 0 评论 -
推荐中的评估指标:AUC、GAUC
文章目录混淆矩阵ROC曲线AUC求解AUCGAUC:Group AUCGAUC代码本文将介绍一下分类任务中的一个非常重要的评估指标:AUC,以及针对AUC的不足引出的另一指标:GAUC。混淆矩阵TP:表示正确拒绝的样本数(坏样本要拒绝)FP:表示误报的样本数,即被错误拒绝的样本数(错的记成正的)FN:表示漏报的样本数,即被错误准入(错误的拒绝了)的样本数(正例预测成负例,好样本没有准入,正例的少了,召回的少了)(好的少了,好的记成错的)TN:正确准入的样本数TP是真1;FP是假1;FN原创 2021-09-02 22:16:48 · 2659 阅读 · 0 评论 -
推荐系统中的Embedding应用
文章目录1. Word2Vec1.1 Skip-gram2. Airbnb中的Embedding2.1 用在相似推荐中的List Embedding2.1.1 优化一:Booked Listing as Global Context2.1.2 优化二:Adapting Training for Congregated Search2.1.3 冷启动问题2.1.4 效果评估2.2 用在搜索推荐中的Type Embedding2.2.1 Expllicit Negatives for Host Rejectio原创 2021-04-21 10:53:53 · 927 阅读 · 0 评论 -
推荐系统中的双塔模型
文章目录1. 为什么要学习DSSM双塔模型2. DSSM模型理论知识2.1 DSSM模型的原理2.2 DSSM深度语义匹配模型整体结构2.2.1 输入层2.2.2 表示层2.2.3 匹配层2.3 DSSM模型的优缺点3. 推荐领域中的DSSM双塔模型3.1 从NLP领域跨界到推荐领域的DSSM3.2 朴素的DSSM双塔模型,20153.3 百度的双塔模型3.4 谷歌的双塔模型,20194. 实战广告推荐的双塔模型4.1 广告推荐业务场景4.2 广告推荐的DSSM双塔模型结构4.2.1 输入层4.2.2 表示原创 2021-04-21 10:29:30 · 3508 阅读 · 6 评论 -
推荐系统经典模型 Wide & Deep 详解 (全网之最)
文章目录摘要简介推荐系统概述Wide & Deep原理Wide部分Deep部分Wide & Deep合并系统实现数据生产模型训练模型服务模型结果App 获取量服务性能代码实现今天我们剖析的也是推荐领域的经典论文,叫做 Wide & Deep Learning for Recommender Systems。它发表于2016年,作者是Google App Store的推荐团队。这年刚好是深度学习兴起的时间。这篇文章讨论的就是如何利用深度学习模型来进行推荐系统的CTR预测,可以说是在推原创 2021-04-21 10:17:13 · 5571 阅读 · 0 评论 -
推荐中的ctr校准方式
文章目录为什么要ctr校正?CTR 训练时负样本下采样,上线前如何矫正?第一种方法第二种方法矫正ctr例子Python code为什么要ctr校正?通常我们在做CTR预估的时候,预估值会与真是的CTR有偏差,这种偏差可能来自于负采样,可能是因为模型的问题。CTR预估值与真实值有偏差,并不会影响AUC指标和排序,但是实际使用中往往需要CTR的预估值不仅仅是做到有序,即正样本排在负样本前面,而且需要保证有一定的区分度。这涉及到一个概念保序和保距。假设我们有这么一个序列 牛 500KG,羊100KG,兔子原创 2021-03-29 16:36:35 · 2433 阅读 · 1 评论 -
关于广告中的定向和人群包
文章目录广告中的定向1. 广告有哪些定向方式2. 地域定向详细说明3. 人群定向 广告人群定向的维度分为六种4. 关键词定向5. 关键词定向是否指精准关键词6. 什么是潜在虚拟付费7. 什么是app行为定向8. 什么是消费能力定向人群包广告中的定向1. 广告有哪些定向方式一般广告支持的多种定向方式,包括:(1)地域定向:省市、商圈;(2)用户基本信息定向:年龄、性别、上网场景;(3)用户情况定向:学历、婚恋状况、生活状况、商业兴趣定向、关键词;(4)用户行为定向:付费用户、APP行为定向、应用原创 2021-03-29 15:54:43 · 2815 阅读 · 1 评论 -
Word2vec---经典的 Embedding 方法
文章目录什么是 Word2vec?Word2vec 的样本是怎么生成的?Word2vec 模型的结构是什么样的?怎样把词向量从 Word2vec 模型中提取出来?Word2vec 对 Embedding 技术的奠基性意义Item2Vec:Word2vec 方法的推广Word2vec代码实现提到 Embedding,就一定要深入讲解一下 Word2vec。它不仅让词向量在自然语言处理领域再度流行,更关键的 是,自从 2013 年谷歌提出 Word2vec 以来,Embedding 技术从自然语言处理领域推广原创 2021-02-05 15:42:52 · 2144 阅读 · 0 评论 -
所有人都在谈的Embedding到底是什么?
文章目录什么是 Embedding?Embedding 技术对深度学习推荐系统的重要性说起 Embedding,我想你肯定不会陌生,至少经常听说。事实上,Embedding 技术不仅名气大,而且用 Embedding 方法进行相似物品推荐,几乎成了业界最流行的做法,无论是国外的 Facebook、Airbnb,还是在国 内的阿里、美团,我们都可以看到 Embedding 的成功应用。因此,自从深度学习流行起来之后,Embedding 就 成为了深度学习推荐系统方向最火热的话题之一。但是 Embeddin原创 2021-02-05 15:37:49 · 7512 阅读 · 0 评论 -
DeepFM---如何让模型更好地处理特征交叉
文章目录为什么深度学习模型需要加强特征交叉的能力?善于处理特征交叉的机器学习模型 FM深度学习模型和 FM 模型的结合 DeepFM特征交叉新方法:元素积操作TensorFlow实现1TensorFlow实现2Embedding MLP、Wide&Deep、NerualCF 等几种不同的模型结构, 这几种模型都是怎么处理特征交叉这个问题的?比如说,模型的输入有性别、年龄、电影风格这几个特征,在训练样本中我们发现有 25 岁男生喜欢科幻电影的样 本,有 35 岁女生喜欢看恐怖电影的样本,那你觉得模原创 2021-02-05 15:29:14 · 1226 阅读 · 0 评论 -
NeuralCF---如何用深度学习改造协同过滤
文章目录NeuralCF 模型的结构NeuralCF 模型的扩展,双塔模型NeuralCF 的 TensorFlow 实现在前深度学习的时代,协同过滤曾经大放异彩,但随着技术的发展,协同过滤相比深度学习模型的弊端就日益显现 出来了,因为它是通过直接利用非常稀疏的共现矩阵进行预测的,所以模型的泛化能力非常弱,遇到历史行为非常 少的用户,就没法产生准确的推荐结果了。虽然,我们可以通过矩阵分解算法增强它的泛化能力,但因为矩阵分解是利用非常简单的内积方式来处理用户向量 和物品向量的交叉问题的,所以,它的拟合能力原创 2021-02-05 15:20:47 · 2279 阅读 · 0 评论 -
深度推荐模型 Wide&Deep (附代码)
文章目录Wide&Deep 模型的结构模型的记忆能力模型的泛化能力Wide&Deep 模型的应用场景TensorFlow 实现Pytorch实现Wide&Deep 模型的结构上图就是 Wide&Deep 模型的结构图了,它是由左侧的 Wide 部分和右侧的 Deep 部分组成的。Wide 部分的结构 太简单了,就是把输入层直接连接到输出层,中间没有做任何处理。Deep 层的结构稍复杂,是一个深层的网络。知道了 Wide&Deep 模型的结构之后,我们先来解决第原创 2021-02-05 15:11:04 · 2439 阅读 · 7 评论 -
GBDT+LR 原理及代码实现
文章目录一句话说清模型结构GBDT思维导图GBDT特征转换过程GBDT+LR代码实现一GBDT+LR代码实现二一句话说清GBDT+LR,就是利用GBDT自动进行特征筛选和组合,进而形成新的离散特征向量,再把该特征向量当做LR模型的输入,来实现预测。模型结构GBDT思维导图GBDT特征转换过程举例来说,如下图,GBDT由三颗子树构成,每颗子树有4个叶子节点,输入一个训练样本后,其先后落入“子树1”的第三个叶子节点,那么特征向量就是[0, 0, 1, 0]。“子树2”的第一个叶子节点,特征向原创 2021-01-17 20:05:42 · 2764 阅读 · 5 评论 -
从FM到FFM自动特征交叉的解决方案
文章目录逻辑回归POLY2特征交叉的开始FM隐向量特征交叉FFM引入特征域FM源码演化逻辑回归由于矩阵分解的缺陷:不方便加入用户、物品、上下文环境等相关的特征,使得矩阵分解丧失了利用很多有效信息的机会。当缺乏用户历史行为的时候,无法进行有效推荐。相比于协同过滤仅能利用用户与物品的相互信息进行推荐,逻辑回归可以综合利用用户、物品、上下文等不同的特征。它是将推荐问题看成一个分类问题,通过预测正样本的概率对物品进行排序。逻辑回归虽然简单、可解释性好,但是模型不具备特征组合(特征交叉)的能力,只是对单一特征原创 2021-01-17 19:38:34 · 869 阅读 · 1 评论 -
FM代码
文章目录pytorch实现其它方法pytorch实现import torch.nn as nnfrom scipy.sparse import csrimport pandas as pdimport numpy as npimport torchfrom tqdm import tqdm#FM modelclass FM_model(nn.Module): def __init__(self,p,k): super(FM_model,self).__init__原创 2021-01-17 19:37:23 · 586 阅读 · 3 评论 -
一分钟掌握Apriori流程思想(全网之最)
找出频繁项集,逐层产生规则文章目录大体流程先知一分钟看图两分钟看手写真迹候选项集的产生(补充)是关联规则的一个重要算法,使用基于支持度的剪枝技术,从而控制候选项集的指数级别的增长大体流程先知1.设定最小支持度和最小置信度2.扫描数据集,统计每个项的支持度计数,得到候选1项集3.计算每个项的支持度计数,筛选掉小于最小支持度的,得到频繁1项集4.合并再计算每个2项集的支持度计数得到候选2项集5.筛选掉小于最小支持度的,得到频繁2项集6.以此类推,当没有新的频繁项集产生后(即没有小于最小支持度原创 2020-12-13 14:13:51 · 623 阅读 · 1 评论