推荐系统-PNN模型Product-based Neural Networks for User Response Prediction

最新推荐文章于 2024-06-17 20:46:20 发布
最新推荐文章于 2024-06-17 20:46:20 发布
阅读量221 收藏
点赞数
文章标签： 神经网络 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012875855/article/details/110142293
版权

模型结构

模型主要分为输入层、embedding 层、product 层、两个全连接层

输入层：每个特征域的one hot表示

embedding 层：将特征one hot转为embedding表示fn

product 层：本文主要内容，主要进行特征交叉

后面主要讲解一下product层

主要计算过程如上，常规操作，不在赘述

 

product 层

product层分为两个部分，其中第一部分，每个特征域与1进行内积，zn = fn, pi,j 则是fi, fj的内积或者外积

P是一个N*N的矩阵，矩阵的每一维是pi,j是fi与fj的内积或者外积

 

获得Z和P后，与参数D1个W进行分别进行内积，得到D1维度的lz和lp

Inner Product-based Neural Network

P的计算方式使用内积，两个特征的值两两相乘再累加，生成一个值

但是这种方式计算内积复杂度较高，根据矩阵分解的思路，可以将W进行分解

这时我们不需要在特征域之间进行内积，对于每个特征域的向量，分别于W的分解出来的向量相乘，然后在每个D1的维度累加即可得到Lp

Outer Product-based Neural Network

外积部分比较简单，即两个特征域的向量交叉时，结果不在是一个数字，而是一个矩阵，如果是有N个特征域，每个特征域有M*M维，则有N*M个 M*M的矩阵，计算量超大

这里做了简化，使用了superposition的方法，将M*N个 N*N矩阵进行相加，得到M*M的矩阵，然后与一个D1* M * M 的W进行矩阵内积，得到D1的向量

stringlife
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
论文Product-based Neural Network for User Response Prediction
fredinators的博客
03-30 2160
Multi-field Categorical Data会有多种不同的字段，比如：[Weekday=Wednesday, Gender=Male, City=London,…]，那这样我们就比较难识别这些特征之间的关系。给大家举例一个直观的场景：比如现在有一个凤凰网站，网站上面有一个迪斯尼广告，那我们现在想知道用户进入这个网站之后会不会有兴趣点击这个广告，类似这种用户点击率预测在信息检索领域就是一...
Product-based Neural Networks
baidu_18891025的博客
09-20 573
Product-based Neural Networks
PNN(Product-based Neural Network)：模型学习及torch复现
zhao254014的博客
08-30 1291
PNN模型定义的内积和外积操作显然更有针对性的强调了不同特征之间的交互， 从而让模型更容易捕获特征的交叉信息
05-《Product-based Neural Networks for User Response Prediction》
weixin_37562062的博客
05-26 184
PNN，使用embedding layer学习categorial data的分布式表示；使用product layer去捕获interfield categories的交叉模式；使用connected laye去探索高阶特征交叉。 DNN可以自动学习更有表现力的特征表示，并提供很好的预测性能。基于连接的embedding vector基础上，建立MLPs可以探索特征交叉。但是有两个问题：（1）嵌入的初始化的质量在很大程度上受到因子分解机的限制；（2）感知器层的“add”操作对于探索多个字段中catego
【推荐系统】Product-based Neural Networks for User Response Prediction
布纸所云
04-20 449
论文地址：Product-based Neural Networks for User Response Prediction 一、概述 Product-based Neural Networks（PNN）的特点如下： 直接从Embedding开始，而不需要预训练 使用product 层基于Embedding来学习特征之间的交互（包括内积和外积） 进一步通过FC来提取高阶特征模式 二、模型结构...
CR-PNN:帮派变换（CR-PNN）
05-30
Gang transform（CR-PNN）:Renamed "DD".New ArXiv and code: . B站视频讲解： DD： old：
liziqun.rar_liziqun-pnn
09-14
例子群发，一种不错的全局优化方法。有兴趣的人可以试试
liziqun.rar_liziqun-pnn_save pso_粒子群
09-24
该代码是由matlab编写的。粒子群是一种快速优化方法。能大量节省计算机运行时间。
Basic-PNN-Demo.zip
08-23
推荐算法实战 tensorflow实现
深度学习模型GoolgeNet-PNN对肝硬化的识别.pdf
08-19
概率神经网络（PNN）则以其简单的训练过程和快速的收敛速度为模型的优化提供了便利。 总结来说，深度学习模型GoogleNet-PNN的引入为肝硬化的自动识别带来了革命性的进步。该模型不仅提高了诊断的精确度，还极大地...
【DNN】PNN(Product-based Neural Networks )
凝眸伏笔的博客
05-07 833
0.前言 相比Embedding+MLP的传统结构，PNN在embedding层后设计了Product Layer，以显示捕捉基于Field的二阶特征相关性。 motivation Embedding+MLP结构是DNN应用在CTR预估的标准模式。通常，NN层之间都使用“add operation” ，通过激活函数来引入非线性。作者认为，单纯的“add”也许不足以捕获不同的Filed特征间的...
Product-based Neural Network (PNN) 介绍与源码浅析
珍妮的选择的博客
08-14 1032
Product-based Neural Network (PNN) 介绍与源码浅析 前言 继续介绍论文~ 本文初看的时候有些懵逼, 多看几次总算有些 Get 到了, 总结一下. Product-based Neural Network (PNN) 文章信息 论文标题: Deep Interest Network for Click-Through Rate Prediction 论文地址: https://arxiv.org/abs/1611.00144 代码地址: https://github.com/
PNN网络（Product-based Neural Network）
null的专栏
03-20 1万+
1. 概述 PNN的全称是Product-based Neural Network，PNN的关键在于在embedding层和全连接层之间加入了Product layer。传统的DNN是直接通过多层全连接层完成特征的交叉和组合的，但这样的方式缺乏一定的“针对性”。首先全连接层并没有针对不同特征域之间进行交叉；其次，全连接层的操作也并不是直接针对特征交叉设计的。但在实际问题中，特征交叉的重要性不言而喻，比如年龄与性别的交叉是非常重要的分组特征，包含了大量高价值的信息，我们急需深度学习网络能够有针对性的结构能够表
推荐系统笔记7-Product-based Neural Networks for User Response Prediction
年少_当自强的博客
02-03 3655
本文介绍Product-based Neural Networks for User Response Prediction（简称PNN），原文Paper链接。 摘要 本文和上次介绍的FNN一样，针对用户响应问题（如CTR、CVR等）建模，因为这类问题往往是类别型并且存在多个field，所以传统模型只能挖掘较浅的数据模式，且DNN不能直接用来处理高维稀疏输入（因特征空间过大），文章提出通过PNN来...
推荐算法-PNN(Product Network)
热门推荐
Silence的博客
05-17 1万+
推荐算法-PNN   这篇文章出自上海交大，针对直接把Embedding之后的特征输入到神经网络中进行计算对特征的交叉组合不充分而提出来的。也是对特征的组合做文章的一种方法。 PNN网络结构   模型结构如下图所示： 可以看出模型也是实现CTR预估任务，输入数据是对特征进行one-hot编码之后特征，然后经过一个embedding层，将输入特征映射到相同长度的特征得到上图中的embedding层...
《Product-based Neural Networks for User Response Prediction》PNN模型的理解与python代码
十三
04-10 1189
1 原文 点击【原文】即可下载。 2 PNN PNN（Product-based Neural Network），认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，模型如图所示 PNN模型的输出： L2层输出： L1层输出： 其中，lzl_zlz​，lpl_plp​以及b1b_1b...
推荐系统（九）PNN模型（Product-based Neural Networks）
天泽28的专栏
02-13 4297
PNN模型（Product-based Neural Networks）和上一篇博客介绍的FNN模型一样，都是出自交大张伟楠老师及其合作者，这篇paper发表在ICDM'2016上，是个CCF-B类会议，这个模型我个人基本上没听到过工业界哪个公司在自己的场景下实践过，但我们依然可以看看这篇paper的成果，也许能为自己的业务模型提供一些参考借鉴意义。PNN是通过引入product（可以是内积也可以是外积）来达到特征交叉的目的。
【推荐实践】腾讯推荐系统中的深度匹配模型
m0_37586850的博客
08-03 3254
省时查报告-专业、及时、全面的行研报告库省时查方案-专业、及时、全面的营销策划方案库【免费下载】2022年6月热门报告合集从零开始了解推荐系统全貌机器学习在B站推荐系统中的应用实践微信视频号实时推荐技术架构分享小红书推荐中台实践快手推荐系统精排模型实践导读：推荐系统和搜索应该是机器学习乃至深度学习在工业界落地应用最多也最容易变现的场景。而无论是搜索还是推荐，本质其实都是匹...
深度学习入门2—— 神经网络的组成和3层神经网络的实现
最新发布
Argulo的博客
06-17 697
由上一章结尾，我们知道神经网络的一个重要性质是。接下来会介绍神经网络的概要，然后再结合手写数字识别案例进行介绍。
pso-pnn的matlab代码
12-07
PSO-PNN (粒子群神经网络) 是一种融合了粒子群优化算法和神经网络的模型。在Matlab中，可以通过以下步骤实现PSO-PNN的代码。 首先，需要定义PSO算法的相关参数，包括粒子数量、迭代次数、惯性权重等。然后，编写...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值