FM算法推导及python实例分析

FM算法

FM（Factoriztion Machine，因子分解机）是在逻辑回归基础上，增加了特征交叉项的参数学习，模型公式为：
$$\hat{y}=w0+\sum _{i=1}^n{w}_i{x}_i+\sum _{i=1}^{n-1}\sum _{j=i+1}^n<v_i,v_j>x_i{x}_j$$
其中$<v_i,v_j>$表示两个大小为k的向量的点积，k称为FM算法的度：
$$v_i=(v_{i,1},v_{i,2},...,v_{i,k})$$
$$v_j=(v_{j,1},v_{j,2},...,v_{j,k})$$
$$<v_i,v_j>=\sum _{f=1}^k{v}_{i,f}\cdot v_{j,f}$$

交叉熵损失的变种

交叉熵损失的典型形式为：
$$J(\theta )=-\sum _{i=1}^m[y^{i}log(h_{\theta }(x^i))+(1-y^i)log(1-h_{\theta }(x^i))],y=0,1$$
sigmoid函数有个特性：$1-\sigma (x)=\sigma (-x)$，推导如下：
$$\sigma (x)=\frac{1}{1+e^{-x}}=\frac{1}{\frac{e^x+1}{e^x}}=\frac{e^x}{1+e^x}$$
$$\sigma (x)+\sigma (-x)=\frac{e^x}{1+e^x}+\frac{1}{1+e^x}=1$$
若样本的标签值用+1和-1表示正例和负例时

• 当y=+1时，$P(y=+1|x)=\sigma (\hat{y})$
• 当y=-1时， P ( y = − 1 ∣ x ) = 1 − σ ( x ) = σ ( − y ^ ) P(y= -1|x)=1-\sigma(x)=\sigma(-\hat y)