InteractionNN 论文简读

InteractionNN 论文简读

前言 (与主题无关, 可以忽略~)

准备在博客新开一个目录, 名为 “论文阅读”, 讨论那些粗读的论文, 证明我曾经读过… 🤣 🤣 🤣

广而告之

可以在微信中搜索 “珍妮的算法之路” 或者 “world4458” 关注我的微信公众号；另外可以看看知乎专栏 PoorMemory-机器学习, 以后文章也会发在知乎专栏中；

文章信息

• 文章标题: InteractionNN: A Neural Network for Learning Hidden Features in Sparse Prediction

主要内容

介绍了 InteractionNN 网络:

由三个部分组成:

• Embedding Layer
• Nonlinear Interaction Pooling (NI pooling)
• Layer-lossing Layer

其中 NI Pooling 的结构如下:

图中的 Column Sum 表示对一个矩阵按列求和, 比如将

$$\left[\begin{array}{cc}a& c\\ b& d\end{array}\right]\Rightarrow \left[\begin{array}{cc}a+b& c+d\end{array}\right]$$

另外 Ha-Pro 表示哈达玛积 (Hadamard Product), 比如对一个矩阵做 Ha-Pro, 结果是:

$$\left[\begin{array}{cc}a& c\\ b& d\end{array}\right]\Rightarrow \left[\begin{array}{cc}{a}^2& c^2\\ b^2& d^2\end{array}\right]$$

NI Pooling 的结果是: (假设输入是矩阵 $M$)

$$2\sum _{i,k=1,i\ne k}^n\left(M_{ij}\cdot M_{kj}\right)$$

疑问: 我觉得这里的操作和 NFM 中的 Bi-Interaction Pooling Layer 的操作基本上是一样的… 除了前面的系数不同, 这里是 2, 而 NFM 中是 0.5, 不知我是否理解正确了…

Layer-lossing Layer 的结构是:

图中的 BAD unit 是 Batch Normalization. Y 这个模块是用来计算 Loss 的, 即各个隐藏层输出的特征会分别经过一个 Linear Model, 输出结果后和 label 计算 Loss, 最后将所有的 Loss 累加起来.

整个模型的 Loss 定义为:

$$\mathcal{L}=\sum _{x\in D}(\bar{y}(x)-y(x){)}^2+\sum _{i=1}^L\sum _{x\in D}{\left(h_i(x)-y\right)}^2$$

使用平方 Loss, 其中 $L$ 是隐藏层的个数. 加号左边是用模型输出层的结果来计算的 Loss, 加号右边是隐藏层的 Loss 之和.