Product-based Neural Network(PNN) - 学习笔记

最新推荐文章于 2022-08-30 22:13:20 发布
最新推荐文章于 2022-08-30 22:13:20 发布
阅读量229 收藏
点赞数
分类专栏： 推荐系统 文章标签： 机器学习 深度学习 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Karty9/article/details/120800435
版权

引言

这篇工作的着眼点是在特征交叉方面，提出了一个乘积层(product layer) 来对多个领域(field) 的特征进行充分的特征交叉。其中，product layer包含两种形式，分别是内积形式(inner product)和外积形式(outer product)。

整体的模型结构

在这里插入图片描述
上图是PNN的整体模型架构，这里简单介绍一下。

I n p u t Input Input是经过one-hot编码的稀疏向量，经过 E m b e d d i n g Embedding Embedding层生成稠密的特征向量矩阵 x x x。 x [ s t a r t i : e n d i ] x[start_i:end_i] x[starti​:endi​]表示第 i i i个 f i e l d field field的特征向量。

在 P r o d u c t   L a y e r Product\,Layer ProductLayer中，包含 z z z和 p p p两部分， z z z是由 " 1 " "1" "1"信号和某个 f i e l d field field的特征组合而成，其实表示的是原始特征的恒等映射：
z = ( z 1 , z 2 , . . . , z N ) = ( f 1 , f 2 , . . . , f N ) z = (z_1,z_2,...,z_N) = (f_1,f_2,...,f_N) z=(z1​,z2​,...,zN​)=(f1​,f2​,...,fN​)
p p p是由任意两个 f i e l d field field的特征交叉而成:
p = { p i , j } , i = 1... N , j = 1.. N p i , j = g ( f i , f j ) p = \left\{p_{i,j}\right\},i=1...N,j=1..N\\ p_{i,j} = g(f_i,f_j) p={ pi,j​},i=1...N,j=1..Npi,j​=g(fi​,fj​)
对于内积操作， g ( f i , f j ) = < f i , f j

最低0.47元/天 解锁文章
不学无术的小镇做题家
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文Product-based Neural Network for User Response Prediction
fredinators的博客
03-30 2167
Multi-field Categorical Data会有多种不同的字段，比如：[Weekday=Wednesday, Gender=Male, City=London,…]，那这样我们就比较难识别这些特征之间的关系。给大家举例一个直观的场景：比如现在有一个凤凰网站，网站上面有一个迪斯尼广告，那我们现在想知道用户进入这个网站之后会不会有兴趣点击这个广告，类似这种用户点击率预测在信息检索领域就是一...
PNN网络（Product-based Neural Network）
null的专栏
03-20 1万+
1. 概述 PNN的全称是Product-based Neural Network，PNN的关键在于在embedding层和全连接层之间加入了Product layer。传统的DNN是直接通过多层全连接层完成特征的交叉和组合的，但这样的方式缺乏一定的“针对性”。首先全连接层并没有针对不同特征域之间进行交叉；其次，全连接层的操作也并不是直接针对特征交叉设计的。但在实际问题中，特征交叉的重要性不言而喻，比如年龄与性别的交叉是非常重要的分组特征，包含了大量高价值的信息，我们急需深度学习网络能够有针对性的结构能够表
Product-based Neural Network(PNN)简介
weixin_40200988的博客
10-14 158
在FNN的基础上发现concat的embedding学习到的交叉特征表达不充分.于是加入Product Layer.例如关系更多的是and而不是add,例如性别为男且喜欢游戏的人群，比起性别男和喜欢游戏的人群.表达意思是不同 因此在product layer可以将特征融合,主要有两种方式,一种向量的内积计算,另一种采用矩阵的相乘,如下两图] ...
Product-based Neural Networks
baidu_18891025的博客
09-20 591
Product-based Neural Networks
推荐系统（九）PNN模型（Product-based Neural Networks）
天泽28的专栏
02-13 4557
PNN模型（Product-based Neural Networks）和上一篇博客介绍的FNN模型一样，都是出自交大张伟楠老师及其合作者，这篇paper发表在ICDM'2016上，是个CCF-B类会议，这个模型我个人基本上没听到过工业界哪个公司在自己的场景下实践过，但我们依然可以看看这篇paper的成果，也许能为自己的业务模型提供一些参考借鉴意义。PNN是通过引入product（可以是内积也可以是外积）来达到特征交叉的目的。
EEG-classification-based-on-Neural-Network
05-18
**标题解析：** "EEG-classification-based-on-Neural-Network" 指的是一个使用神经网络技术对脑电图（EEG）信号进行分类的项目。这通常涉及到利用深度学习模型，如卷积神经网络（CNN）或循环神经网络（RNN），对...
语音中的mask---Neural network based spectral mask estimation for aco
08-03
未来的研究可能会探索如何结合其他先进的深度学习架构，如Transformer或Convolutional Neural Networks（CNN），以进一步优化mask估计和波束形成的效果。同时，考虑到实际应用中的计算资源限制，设计更高效且性能...
Two-Stage Fuzzy Fusion Based-Convolution Neural Network for Dynamic Emotion Recognition
02-11
Two-Stage Fuzzy Fusion Based-Convolution Neural Network for Dynamic Emotion Recognition
A C-LSTM Neural Network for Text Classification.pdf
10-18
### A C-LSTM Neural Network for Text Classification #### 概述 该论文提出了一种结合卷积神经网络（Convolutional Neural Network, CNN）与长短时记忆网络（Long Short-Term Memory, LSTM）的新架构——C-LSTM...
《Product-based Neural Networks for User Response Prediction》PNN模型的理解与python代码
十三
04-10 1200
1 原文 点击【原文】即可下载。 2 PNN PNN（Product-based Neural Network），认为在embedding输入到MLP之后学习的交叉特征表达并不充分，提出了一种product layer的思想，既基于乘法的运算来体现体征交叉的DNN网络结构，模型如图所示 PNN模型的输出： L2层输出： L1层输出： 其中，lzl_zlz​，lpl_plp​以及b1b_1b...
PNN(Product-based Neural Network)：模型学习及torch复现
zhao254014的博客
08-30 1370
PNN模型定义的内积和外积操作显然更有针对性的强调了不同特征之间的交互， 从而让模型更容易捕获特征的交叉信息
Caffe Prototxt 特征层系列：InnerProduct Layer
Mingx9527
01-11 1309
message InnerProductParameter { optional uint32 num_output = 1; // The number of outputs for the layer optional bool bias_term = 2 [default = true]; // whether to have bias terms optional FillerParame...
推荐系统笔记7-Product-based Neural Networks for User Response Prediction
年少_当自强的博客
02-03 3678
本文介绍Product-based Neural Networks for User Response Prediction（简称PNN），原文Paper链接。 摘要 本文和上次介绍的FNN一样，针对用户响应问题（如CTR、CVR等）建模，因为这类问题往往是类别型并且存在多个field，所以传统模型只能挖掘较浅的数据模式，且DNN不能直接用来处理高维稀疏输入（因特征空间过大），文章提出通过PNN来...
从ctr预估问题看看f(x)设计—DNN篇
Bryan__的专栏
08-24 7040
转自：https://zhuanlan.zhihu.com/p/28202287 把DNN引入ctr预估无非看重两点： 一，改进模型结构，提高“信息利用率”，发现高阶非线性特征，挖掘以前挖不到潜在模式，比如DIN引入attention机制；一般来说Embedding+MLP是标配。 二，扩充“信息量”，把图片/文本这类不好处理的数据利用起来，比如DeepCTR； #0 RoadMa
深度学习在CTR预估中的应用 | CTR深度模型大盘点
Paper weekly
04-11 1883
作者丨辛俊波单位丨腾讯研究方向丨CTR预估，推荐系统前言深度学习凭借其强大的表达能力和灵活的网络结构在 NLP、图像、语音等众多领域取得了重大突破。在广告领域，预测用户点击率（Click Through Rate，简称 CTR）领域近年也有大量关于深度学习方面的研究，仅这两年就出现了不少于二十多种方法。本文就近几年 CTR 预估领域中学术界的经典方法进行探究，并比较各自之间模型设计的初衷和各自优缺
课程一(Neural Networks and Deep Learning)，第二周（Basics of Neural Network programming）—— 3、Python Basic
君子不器
11-01 284
“”" 第一个 “”" test = “Hello World” print(“test:”+test) “”" 第二个 “”" import math def basic_sigmoid(x): “”" :param x: :return:s “”" s = 1/(1+math.exp(-x)) return s #if name == ‘main’: #print(basic_sigmoid(...
一步一步分析讲解深度神经网络基础-Convolutional Neural Network
热门推荐
凡难事必作于细的博客
12-25 2万+
Convolutional Neural Network 参考http://cs231n.github.io/convolutional-networks/history Convolutional Neural Networks (CNNs / ConvNets)Convolutional Neural Networks are very similar to ordinary Neural
【DNN】PNN(Product-based Neural Networks )
凝眸伏笔的博客
05-07 861
0.前言 相比Embedding+MLP的传统结构，PNN在embedding层后设计了Product Layer，以显示捕捉基于Field的二阶特征相关性。 motivation Embedding+MLP结构是DNN应用在CTR预估的标准模式。通常，NN层之间都使用“add operation” ，通过激活函数来引入非线性。作者认为，单纯的“add”也许不足以捕获不同的Filed特征间的...
gradient-based neural dag learning
最新发布
09-16
gradient-based neural dag learning（梯度优化的神经有向无环图学习）是一种用于构建和训练神经网络结构的方法。它通过学习网络的拓扑结构，即神经网络的连接方式和层次结构，来优化网络性能。 传统的神经网络结构...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值