Madazy的博客

特征组合之因子分解机(FM)1. 为什么需要因子分解机？在上一篇博客特征组合中提到，暴力交叉会导致特征组合的特征稀疏的问题，所以FM(Factorization Machine)主要目标是：解决数据稀疏的情况下，特征怎样组合的问题。核心：对于因子分解机FM来说，最大的特点是对于稀疏的数据具有很好的学习能力。2.什么是FM因子分解机？FM因式分解机是一种基于LR模型的高效的学习特征间相互...

FFM(Field-aware Factorization Machine)1. 为什么需要FMM？Field-aware即通过引入field的概念，FFM把相同性质的特征归于同一个field。 基于FM，提高FM模型的表达能力和复杂度，从而提高FM的学习能力。2. 什么是FMM&FMM的推导？与FM相似，在线性回归的模型上引入特征组合部分。与FM不同的是，特征组合部分的隐向量多了...

特征组合之DeepFM1. 为什么需要DeepFM？我们在之前的文章中提到FM, FMM，理论上，FM可以处理高阶的特征组合，但由于计算复杂度的原因，一般只处理二阶的特征组合（即在FM章节提到的度为2的FM）。所以我们很一般地想到用DNN的方法来解决拟合更高阶的特征组合。注：可以很显然地得知，高阶的特征组合的参数时阶乘上涨的。比如2阶的FM的特征组合部分的参数数量时 C（n，2），则三阶的时...

最邻近搜索之KD-Tree 与 LSH什么是最邻近搜索问题？在内容搜索、推荐系统和一些机器学习算法常常遇到最邻近搜索问题，在大数据场景下，O(n)的时间复杂度往往是不能被接受的，所以需要一些方法来返回近似的解或用空间复杂度以换取更优的时间开销。什么是最邻近搜索问题？...