![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
推荐系统
文章平均质量分 80
Big_Huang
这个作者很懒,什么都没留下…
展开
-
【推荐算法 学习与复现】-- 深度学习系列 -- AFM
文字越多好像不一定就能更好的解释清楚,试试从简说明,读者觉得清晰的可以点个赞反馈下~~~AFM模型的总体定义如下:一阶特征部分:用一层线性回归即可实现!二阶特征交叉部分:Embedding layer:常用操作,无需多言;沐神说Embedding就是做个MLP的映射Pair-wise Interaction Layer: 和 NFM 中部分内容相同,FM模型基本都有该步骤,前述FM中仅仅需要最终求和...原创 2022-05-01 17:35:05 · 1533 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 深度学习系列 -- NFM
和前面的模型结构上都是大差不差的,但是FM归根结底还是个二阶特征交叉的模型,NFM在在Embedding层后添加 特征交叉池化层 用于对 Embedding向量两两计算元素积操作,并对交叉特征向量求和,得到池化层的输出向量。(可能描述不清楚,可以参考下面论文给出的计算过程)再把该向量输入上层的多层全连接神经网络,进行进一步的交叉。对比前面的DeepFM模型,讲二阶特征交叉部分由并行结构改为了串联的结构,DNN在二阶交叉特征进行进一步交叉,而DeepFM是二阶交叉特征 + 一阶特征DNN,...原创 2022-04-29 17:29:18 · 1178 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 深度学习系列 -- DeepFM
整体内容和前面相似,FM部分二阶交叉部分数学原理参考如下:简单理解FM公式 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/354994307class FM(nn.Module): def __init__(self, num_embeddings, embedding_dim): super().__init__() self.embedding_dim = embedding_dim s...原创 2022-04-28 20:36:31 · 1195 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 深度学习系列 -- Deep&Cross
DeepCross模型整体内容思想是和WideDeep保持一致的, 尤其是Deep部分基本一致, 但是将原先单线性回归的Wide部分替换为Cross网络,增加特征之间的交互力度. 论文总体结构如上图所示, DCN(论文中的叫法)模型从Embedding和Stacking层开始,然后是并行的Cross网络和Deep网络,最后是将两个网络的输出组合在一起的Stacking层和输出层。图示很清楚的表明了模型结构, 配合原论文 第二章一起食用更佳~争对 Cross Netwo...原创 2022-04-24 20:50:42 · 1127 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 深度学习系列 -- Wide&Deep
WideDeep 模型是Google在2016年提出的,在业界具有非常大的影响力,模型由单层Wide部分和多层的Deep部分组成的混合模型。Wide 体现 “记忆能力” 主要是模型直接学习并利用历史数据中物品或者特征的“共现频率”能力。而Deep部分体现 “ 泛化能力 ” 主要是根据特征发掘甚至从未出现过的稀有特征与最终标签相关性的能力。 再简单理解就是Wide部分采用简单的线性回归模型,直接发掘了历史数据的分布规则,例如针对成对出现的特征; 而Deep部分则是通过深层的神经网络发...原创 2022-04-23 21:09:57 · 1237 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 深度学习系列 -- PNN
目录原理介绍 代码复现:数据下载链接:Product Layer 代码如下:PNN 代码如下:完整工程:参考:原理介绍: 论文中原图乍一眼看上去和 DeepCrossing 很像,都是多特征的输入、具有Embedding层、多层的神经网络、以及最终预测的都是CTR指标;唯一的区别也是很容易发现的,就是 PNN模型用Product Layer 替换了 DeepCrossing 的 Stacking;相比较下,Stack...原创 2022-04-23 14:31:20 · 1200 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 深度学习系列 -- NeuralCF
背景故事: 《深度学习推荐系统》中在介绍这一部分的内容时,给的标题是: 从深度学习的视角重新审视矩阵分解模型。个人觉得这句话非常非常精准,哈哈哈。。。LFM作为CF的实现方法一种,根据 user-item 关系矩阵,找到表征 用户特征、物品特征的隐向量,再通过 内积 的计算方式确定用户和物品直接的关系(相似度?)。这里面主要有两块内容,第一是求解隐向量(或者说描述用户和物品的特征向量?);第二是用户和物品之间关系的求解。LFM 争对这两部分给出了比较...原创 2022-04-22 20:30:18 · 1125 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 深度学习系列 -- DeepCrossing
类别型特征可以通过one-hot 或者 multi-hot 编码生成特征向量,数值型特征可以直接作为特征向量。 Deep Crossing 模型完整解决了从特征工程、稀疏向量稠密化、多层神经网络进行优化目标拟合等一些问题,可以将各类业务数据特征带入模型;总体来看Deep Crossing解决了:通过Embedding 解决了某些离散型特征编码过于稀疏化的问题 神经网络解决了特征自动交叉组合的问题 输出层直接对 CTR 进行预估网络的各部分在现在看来都很常见和合理,但是在开始的时...原创 2022-04-19 20:32:55 · 805 阅读 · 2 评论 -
【推荐算法 学习与复现】-- 深度学习系列 -- AutoRec
个人简单理解 AutoRec 模型就是利用神经网络模型来实现矩阵分解的过程,数学表达上和LFM 隐语义模型很类似。假设图中蓝色神经元代表的为 k 层单隐藏层,图中 的 V M 分别代表输入到隐藏层、以及隐藏层到输出的参数矩阵,用数学表达形式就是:其中,f() 和 g() 为输出层、隐藏层的激活函数。 其实从形式上来看,假设输入层维度为 n×m n表示batchsize,不考虑偏置项,第一层参数的维度为 m × k, 第二层参数的维度为 k × m,输入特征经过编码...原创 2022-04-19 19:57:22 · 471 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 逻辑回归算法族 -- GBDT+LR
协同过滤仅仅使用有限的用户行为信息,逻辑回归算法模型大多引入用户行为、用户特征、物品特征和上下文特征等,从CF逐步过渡到综合不同特征的机器学习模型。(1)逻辑回归模型将用户特征(年龄、性别等)、用户行为(收藏、浏览等)、物品特征(属性、描述等)和上下文特征(当前时间、地点等)转化成数值型特征向量;以点击率为优化目标;利用已有数据进行训练学习模型参数;利用学习完成的模型进行推理预测用户点击率。(2)POLY2模型--特征交叉的开始防止“辛普森悖论”(数据...原创 2022-04-16 21:24:29 · 1075 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 逻辑回归算法族 -- LR
协同过滤仅仅使用有限的用户行为信息,逻辑回归算法模型大多引入用户行为、用户特征、物品特征和上下文特征等,从CF逐步过渡到综合不同特征的机器学习模型。(1)逻辑回归模型将用户特征(年龄、性别等)、用户行为(收藏、浏览等)、物品特征(属性、描述等)和上下文特征(当前时间、地点等)转化成数值型特征向量;以点击率为优化目标;利用已有数据进行训练学习模型参数;利用学习完成的模型进行推理预测用户点击率。代码编写原理参考大多参照《深度学习推荐系统》书籍内容,原理见后面附...原创 2022-04-16 21:12:35 · 1142 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 协同过滤算法族-- LFM
基本介绍:协同过滤算法(Collaborative Filtering),数据来源一般为用户的行为数据,不包含用户与物品本身特征信息,从物体相似度和用户相似度出发,分为Item-CF和User-Item。为了处理稀疏共现矩阵、增强模型泛化能力,衍生出矩阵分解模型。(2)矩阵分解对应的针对前述稀疏问题采用矩阵分解技术(Matrix Factorization, MF),使用更稠密的隐向量表征用户和物品,用户和物品的隐向量是通过分解协同过滤生成的共现矩阵得到的...原创 2022-04-15 19:42:39 · 1304 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 协同过滤算法族-- ItemCF
基本介绍: 协同过滤算法(Collaborative Filtering),数据来源一般为用户的行为数据,不包含用户与物品本身特征信息,从物体相似度和用户相似度出发,分为Item-CF和User-Item。为了处理稀疏共现矩阵、增强模型泛化能力,衍生出矩阵分解模型。(1) 协同过滤基于近邻的模型,根据用户还是物品分为 User-CF 和 Item-CFUser-CF:由行为数据找到相似用户,拿到相似用户的喜好物品作为候选,由用户相似度和其对为物体评分情况排序,对物品打分Ite...原创 2022-04-15 19:19:00 · 313 阅读 · 0 评论 -
【推荐算法 学习与复现】-- 协同过滤算法族-- UserCF
基本介绍:协同过滤算法(Collaborative Filtering),数据来源一般为用户的行为数据,不包含用户与物品本身特征信息,从物体相似度和用户相似度出发,分为Item-CF和User-Item。为了处理稀疏共现矩阵、增强模型泛化能力,衍生出矩阵分解模型。(1) 协同过滤基于近邻的模型,根据用户还是物品分为 User-CF 和 Item-CFUser-CF:由行为数据找到相似用户,拿到相似用户的喜好物品作为候选,由用户相似度和其对为物体评分情况排序,对物...原创 2022-04-15 19:08:37 · 439 阅读 · 0 评论