NFM的来源
NFM是在DeepFM的基础上进行改进的一个模型，DeepFM的模型是 y ^ F M ( x ) = w 0 + ∑ i = 1 N w i x i + ∑ i = 1 N ∑ j + 1 N v i T v j ⋅ x i x j \hat{y}_{FM}(x)=w_{0}+\displaystyle\sum^{N}_{i=1}w_{i}x_{i}+\displaystyle\sum^{N}_{i=1}\sum^{N}_{j+1}v_{i}^{T}v_{j}\cdot x_{i}x_{j} y^FM(x)=w0+i=1∑Nwixi+i=1∑Nj+1∑NviTvj⋅xixj，NFM是在这个基础上将 ∑ i = 1 N ∑ j + 1 N v i T v j ⋅ x i x j \displaystyle\sum^{N}_{i=1}\sum^{N}_{j+1}v_{i}^{T}v_{j}\cdot x_{i}x_{j} i=1∑Nj+1∑NviTvj⋅xixj改为函数 f ( x ) f(x) f(x)，这样使模型的表达能力更强， f ( x ) f(x) f(x)相对比二阶隐向量的内积是具有更强的表达能力，可以涵盖更多的信息。故基于该基础上提出了NFM模型 y ^ N F M ( x ) = w 0 + f ( x ) \hat{y}_{NFM}(x)=w_{0}+f(x) y^NFM(x)=w0+f(x)
NFM模型概要
NFM的模型的结构图如下
它的构成依次为Input、Embedding Layer、B-Interaction Layer、Hidden Layer以及Output。这是对于
f
(
x
)
f(x)
f(x)这部分的。
首先Input层是输入向量中非0向量，然后经过Embedding Layer进行稠密化处理。
B-Interaction Layer是将多个向量转化为一个向量，公式为
f
B
I
(
V
x
)
=
∑
i
=
1
N
∑
j
=
i
+
1
N
x
i
v
i
⊙
x
j
v
j
f_{BI}(V_{x})=\displaystyle\sum^{N}_{i=1}\sum^{N}_{j=i+1}x_{i}v_{i}\odot x_{j}v_{j}
fBI(Vx)=i=1∑Nj=i+1∑Nxivi⊙xjvj，通过化简该公式可以简化为
f
B
I
(
V
x
)
=
1
2
[
(
∑
i
=
1
n
x
i
v
i
)
2
−
∑
i
=
1
n
(
x
i
v
i
)
2
]
f_{BI}(V_{x})=\frac{1}{2}\left[(\sum^{n}_{i=1}x_{i}v_{i})^{2}-\sum^{n}_{i=1}(x_{i}v_{i})^{2}\right]
fBI(Vx)=21[(i=1∑nxivi)2−i=1∑n(xivi)2]
其中
f
B
I
f_{BI}
fBI是嵌入向量，
x
i
x_{i}
xi为特征取值，
v
i
v_{i}
vi为特征对应的嵌入向量
这个与FM的模型简化过程是一致的。
接下就是Hidden Layer，也是全连接层，通过多层神经网络，公式可以表示为
z
=
σ
L
(
W
L
z
L
−
1
+
b
L
)
z= \sigma_{L}\left(W_{L} z_{L-1}+b_{L}\right)
z=σL(WLzL−1+bL)
最后为Output进行预测输出
f
(
x
)
=
h
T
f
z
L
f(\mathbf{x})=h^{T} f_{z}{L}
f(x)=hTfzL
这是NFM中的 f ( x ) f(x) f(x)函数的整个模型概要，但DeepFM中的FM是二阶特征组合的输入，相对比而言， f ( x ) f(x) f(x)提取了特征后进行了更多的信息提取，实验表明这相对FM模型是具有更好的效果。
整个NFM模型为
该模型，是由线性部分和DNN部分(函数 f ( x ) f(x) f(x))组成最后二者的输出通过sigmod函数进行组合，最后再输出最终结果。
107
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
