逻辑回归、FM、FFM比较总结

1. 逻辑回归是常用且基本的线性模型，FM是逻辑回归的一种优化

2. 特征组合的必要性，特征之间是有关联的，就好比概率论里面的独立性假设，例如年龄和身体健康程度不是独立的

3. 逻辑回归的特征组合依靠人工去组合测试，或者把特征两两都组合一下，如果有n个特征，就会多出n*(n+1)/2个组合特征，这个不适合高维稀疏特征的情况，一方面是这个模型实在是太庞大，试想如果上万个特征，就会出上亿的组合特征，另一原因则是稀疏的情况下大多数组合特征的系数求不出来，但是再测试中确实可能出现的。

4. FM的思想就是把特征都组合一下，但是做了计算优化，把w(i,j) 分解成两个向量Vi和Vj的乘积，向量的维度K决定模型的表达能力，再用因式分解简化一下计算，复杂度为K*N
   

5. FM依然有个问题，那就是特征多的时候K可能需要比较大，例如X1的辅助向量V1需要对所有其他向量负责，维度大肯定更容易平衡，

6. FFM的思路就是把特征分成域，例如one-hot中的一个离散变量可以作为一个域，一个域下面的特征只有一个为1，而且对于其他特征来说组合性质应该是相似的，所以把辅助向量扩展为f * k，f为特征域的个数，这个k应该远小于FM的k

7. 损失函数加上正则化项，L1可以减少参数个数，L2可以减小参数的平均值，L2是第二范数，也就是平方和的均值，这个容易理解肯定是平均比较小，总和最小，(a+b)^2 = aa+bb+2ab，L1是参数和的平均值，这个就需要靠那个图理解了，没有正则项的损失函数和正则项函数相交的点大概率是在坐标轴上