（附）逻辑回归推导

逻辑回归简介：

逻辑回归主要处理分类问题，属于线性模型，模型表达能力有限需要构建深层次的特征。

ps：在推荐模型里对LR改进著名的有FM和FFM模型增加了特征自组合出更高维度的特征来加强模型的表达。

ps：FM（因子分解机）对模型的参数以及对应的特征进行分解来达到特征组合的目的。

ps：FFM（场感知因子分解机）对FM引入了场的概念对FM的计算域进行了限定（只会跟其余场的特征进行计算），提高了计算速度。这样可以避免构建线性相关的特征来引进冗余特征（因为线性性质之间可以互相进行表示）。

逻辑回归模型：

sigmoid函数：

ps：sigmoid函数也是假设样本服从两点分布（属于指数簇分布）推导出来的sigmoid函数！

构建模型：

ps：可以看出sigmoid函数把线性回归模型映射成了（0，1）闭区间的值。

代价函数（损失函数）：

损失函数：对于二分类来说是log损失，对于多分类来说是交叉熵损失（只针对softmax模型）。

ps：以下也只以二分类来进行说明。

ps：构建损失函数的过程，假设样本服从两点分布，然后构建极大似然估计就是著名的log损失函数，

定义概率函数：

极大似然估计：

ps：最后需要用负的似然函数等价损失函数（对数损失函数）

损失函数的优化：

解析解：

ps：因为损失函数不是凸函数无法求得解析解，可以使用迭代法来进行更新参数。

梯度下降法：（对求偏导的过程）：

ps：发现和回归问题的梯度下降模型一样，只是函数的定义不同而已！

牛顿法：利用二阶泰勒展开来推导出！（加快了梯度下降法的速度）

ps：因为迭代的时候需要矩阵求逆，所以矩阵需要正定；而且时间复杂度会特别高接近N的立方量级！

拟牛顿：BFGS的矩阵迭代公式：

ps：拟牛顿算法利用自行构建一个矩阵来近似海森矩阵避免了矩阵求逆的操作。

ps：BFGS的缺点是空间消耗大，空间复杂度是平方量级的；LBFGS对空间又进行了优化，每次只对线性空间进行更新。

ps：共轭梯度法，是一种只利用一阶导信息，效率介于牛顿法和梯度下降法之间。

多分类逻辑回归

多分类处理：可以转化为多个二分类模型进行处理；可以改写模型变为softmax函数来处理。

新模型：

ps：sigmoid函数改写为softmax函数，从二分类变为多分类。

极大似然估计：

然后损失函数（交叉熵损失函数）为似然函数取负号

梯度下降：

ps：交叉熵，可以由K-L散度来推导出。