特征交叉系列：PNN向量积模型理论和实践，FM和DNN的串联

PNN介绍和结构简述

PNN（Product-based Neural Networks）是2016年提出的一种基于向量乘积和多层感知机的推荐排序算法，他将FM和DNN串行结合，即先利用FM的向量乘积形式来表征二阶交叉信息，再输入给DNN这种全连接形式，使得二阶信息叠加非线性能力，期望这种组合能够学到更高阶的交叉信息。
PNN的网络结构如下

PNN网络结构

数据从最下层的input输入到最上层的CTR输出，其中Embedding Layer和Product Layer是FM，L1和L2 Fully Connected是DNN，Product Layer层对FM的内积做了拓展，不仅支持向量内积，还支持向量外积，内外积融合一共三种向量积表征方式。
原始onehot输入经过Embedding Layer转化为隐向量，在Product Layer中计算出一阶特征z和交叉特征p，其中z是所有隐向量和常数1相乘，本质上就是将上一个嵌入层的embedding照搬过来，将所有特征的embedding进行拼接组合成z部分。
p部分是所有特征的两两向量乘积运算，只计算半三角因此一共有**field_num×(field_num-1)**个输出结果，其中field_num是特征域数量，根据乘积的方式不同有三种策略

• 内积 IPNN：一对向量进行内积点乘输出一个标量，因此图中p部分的一个圈代表一个值
• 外积 OPPN：A向量转置和B向量进行矩阵相乘，若隐向量的维度为M，则输出一个M×M的矩阵，为了能使矩阵做信息浓缩输入到下一层，PNN引入了同样是是M×M形状的可学习的权重矩阵W，对应位置的两矩阵做**哈达马积（element-wise乘法）**再求和输出一个标量，因此外积的策略下p部分的一个圈也代表一个值
• 内外积融合 PNN*：将内积的输出向量，和外积的输出向量进行拼接，作为p部分的最终输出，此时输出维度为原来的两倍为field_num×(field_num-1)×2

p部分的结果和z部分再拼接形成了最终DNN的输入，经过两层隐藏层sigmoid输入二分类交叉熵完成模型损失迭代。

---

PNN和FM，FNN，DeepFM的联系

PNN和FM
若删除PNN的两层DNN，采用内积Product，所有p的标量相加，则PNN退化为FM，本质上PNN是将FM的内积结果不直接相加输出，而是作为中间结果继续灌入多层感知机做训练。
PNN和FNN
FNN也是将FM的结果作为DNN的输入，而FNN是两阶段模型，先训练一个FM得到每个特征的嵌入向量，再将所有嵌入向量拼接输入到全连接层，如果删除PNN的Product Layer，PNN退化为FNN。
PNN和DeepFM
两者都是将FM融入和深度学习的算法策略，PNN是FM和MLP的串行，MLP依赖于FM的输出，而DeepFM是FM和MLP的并行，FM和MLP共享底层联合训练。

---

PNN的三种形式在PyTorch下的实践

本次实践的数据集和上一篇[特征交叉系列：完全理解FM因子分解机原理和代码实战]一致，采用用户的购买记录流水作为训练数据，用户侧特征是年龄，性别，会员年限等离散特征，商品侧特征采用商品的二级类目，产地，品牌三个离散特征，随机构造负样本，一共有10个特征域，全部是离散特征，对于枚举值过多的特征采用hash分箱，得到一共72个特征。
通过PyTorch构造PNN网络结构如下

class Embedding(nn.Module):
    def __init__(self, feat_num, emb_size):
        super(Embedding, self).__init__()
        self.emb = nn.Embedding(feat_num, emb_size)
        nn.init.xavier_normal_(self.emb.weight.data)

    def forward(self, x):
        # [None, field_num] => [None, field_num, emb_size]
        return self.emb(x)


class InnerProductLayer(nn.Module):
    def __init__(self, field_num):
        super(InnerProductLayer, self).__init__()
        self.field_num = field_num

    def forward(self, x):
        # [None, field_num, emb_size]
        p_index = []
        q_index = []
        for i in range(self.field_num - 1):
            for j in range(i + 1, self.field_num):
                p_index.append(i)
                q_index.append(j)
        # [None, pair_size, emb_size] * [None, pair_size, emb_size] => [None, pair_size, emb_size] => [None, pair_size]
        return torch.sum(x[:, p_index] * x[:, q_index], dim=2)
    
    
class OuterProductLayer(nn.Module):
    def __init__(self, field_num, emb_size):
        super(OuterProductLayer, self).__init__()
        self.field_num = field_num
        self.pair_size = int(field_num * (field_num - 1) / 2)
        self.w = nn.Parameter(torch.zeros(self.pair_size, emb_size, emb_size))
        nn.init.xavier_normal_(self.w.data)

    def forward(self, x):
        # TODO 更优的写法
        """
        kernel = self.w.permute(2, 0, 1)
        kp = torch.sum(p.unsqueeze(1) * kernel, dim=-1).permute(0, 2, 1)
        return torch.sum(kp * q, -1)
        """
        # [None, field_num, emb_size]
        p_index = []
        q_index = []
        for i in range(self.field_num - 1):
            for j in range(i + 1, self.field_num):
                p_index.append(i)
                q_index.append(j)
        p = x[:, p_index]
        q = x[:, q_index]
        # [None, pair_size, emb_size, 1] * [None, pair_size, 1, emb_size] => [None, pair_size, emb_size, emb_size]
        pq = torch.unsqueeze(p, dim=-1) * torch.unsqueeze(q, dim=-2)
        return torch.sum(torch.sum(pq * self.w, dim=-1), dim=-1)


class InnerOuterProductLayer(nn.Module):
    def __init__(self, field_num, emb_size):
        super(InnerOuterProductLayer, self).__init__()
        self.inner = InnerProductLayer(field_num)
        self.outer = OuterProductLayer(field_num, emb_size)

    def forward(self, x):
        return torch.concat([self.inner(x), self.outer(x)], dim=1)


class PNN(nn.Module):
    def __init__(self, field_num, feat_num, emb_size, fc_dims=(64, 16), dropout=0.1, method="inner"):
        super(PNN, self).__init__()
        if method == 'inner':
            self.pn = InnerProductLayer(field_num)
        elif method == 'outer':
            self.pn = OuterProductLayer(field_num, emb_size)
        elif method == 'all':
            self.pn = InnerOuterProductLayer(field_num, emb_size)
        else:
            raise ValueError('unknown product type: ' + method)
        self.field_num = field_num
        self.emb_size = emb_size
        self.embedding = Embedding(feat_num, emb_size)
        cross_out_dim = int(field_num * (field_num - 1) / 2)
        if method == 'all':
            cross_out_dim *= 2
        fc_input_dim = cross_out_dim + field_num * emb_size
        fc_layers = []
        for fc_dim in fc_dims:
            fc_layers.append(torch.nn.Linear(fc_input_dim, fc_dim))
            fc_layers.append(torch.nn.BatchNorm1d(fc_dim))
            fc_layers.append(torch.nn.ReLU())
            fc_layers.append(torch.nn.Dropout(p=dropout))
            fc_input_dim = fc_dim
        fc_layers.append(nn.Linear(fc_input_dim, 1))
        self.mlp = nn.Sequential(*fc_layers)

    def forward(self, x):
        # [None, field_num] => [None, field_num, emb_size]
        emb = self.embedding(x)
        # [None, field_num * emb_size]
        linear = emb.reshape(-1, self.field_num * self.emb_size)
        # [None, field_num * (field_num - 1) / 2]
        cross = self.pn(emb)
        fc_input = torch.concat([linear, cross], dim=1)
        out = torch.sigmoid(self.mlp(fc_input))
        return out.squeeze(dim=1)

在PNN模型主模块中定义了inner，outer，all三种方式分别对应内积，外积，内外积融合，其中内外积融合分别调用内积和外积的子模块，将结果进行拼接作为输出结果。
本例全部是离散分箱变量，所有有值的特征都是1，因此只要输入有值位置的索引即可，一条输入例如

>>> train_data[0]
Out[120]: (tensor([ 2, 10, 14, 18, 34, 39, 47, 51, 58, 64]), tensor(0))

其中x的长度10代表10个特征域，每个域的值是特征的全局位置索引，从0到71，一共72个特征，索引的目的是在模型中通过nn.Embedding映射到对应的隐向量。
采用10次验证集AUC不上升作为早停依据，IPNN，OPNN，PNN*的验证集平均AUC如下，加入FM作为baseline做对比

	FM	IPNN	OPNN	PNN*
AUC	0.6263	0.6322	0.6326	0.6342

从结果来看PNN模型利用并拓展了FM，AUC确实比FM有明显提升（+0.05），而三种不同的PNN向量积策略中，内外积融合的PNN*效果最好，外积效果略优于内积。

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

五、面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】