笔记整合三：fastText原理剖析

一、逻辑回归

1.1 从线性回归到逻辑回归

        线性回归的模型求出的是输出特征向量与输入样本矩阵X之间得线性关系系数K，即我们的Y是连续的，假设我们想要Y离散的话，那么思路可以为对这个Y在做一次函数，由此得到一个 分类函数。

        逻辑回归即对线性回归的结果做了一个sigmoid函数，将其结果整合到了[0，1]中，由此得到一个分类函数。

1.2 逻辑回归

        逻辑回归本质上是线性回归，只是在特征到结果的映射中加入了一层逻辑函数g(z)，即先把特征线性求和，然后使用函数g(z)作为假设函数来预测。g(z)可以将连续值映射到0 和1。g(z)为sigmoid 函数。

 

1.3 离散化

        1、逻辑回归属于广义线性模型，表达能力受限；单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合； 离散特征的增加和减少都很容易，易于模型的快速迭代；

        2、速度快！稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展；

        3、离散化后的特征对