给面试官讲逻辑回归

逻辑回归

一、口述一下逻辑回归

       逻辑回归是用来解决二分类问题的。它假设数据服从二项分布（伯努利分布），通过极大似然估计，结合梯度下降算法求得最优参数，从而实现分类的目的。
       极大似然估计要最大化的就是分类正确的概率P，分类正确的概率即为所有正样本为正的概率积乘以负样本为负的概率积，逻辑回归的目的就是要使得分类正确的概率最大。所以，逻辑回归的目标函数就是一个样本为正样本的概率。
       最理想的情况肯定是正样本为正的概率是1，负样本为负的概率也是1，但是这样的模型是不可导的，就无法用梯度下降去求极值，因此想到了用sigmoid函数这么一个近似理想目标函数的一个可导函数作为一个替代的目标函数，这样就可以带入极大似然估计的公式中，通过梯度下降去求解最优参数了。这样，最终的分类器就是一个sigmoid($\theta$x)函数，表示的是样本为正样本的概率，如果大于50%就认为样本属于正类，反之负例。

二、推导一下逻辑回归

（首先给出一个情景）有m个带标签的样本组成的数据集$(x_i,y_i)$，其中，$x_i=[x_{i1},...,x_{in}]$，代表每个样本有n个特征; $y_i\in${1, 0}，代表二分类问题。

$P(y=1|x;\theta =g(z)=\frac{1}{1+exp(-z)}$，其中，$\theta =[{\theta }_1$, …, ${\theta }_n{]}^T$, $z=\theta x$

$P(分类正确)={\prod }_{i=1}^{m}P(y_i=1|x{)}_i^y\cdot P(y_i=0|x{)}^{1-y_i}$

对数似然函数$lnP={\sum }_{i=1}^m[ylnP(y_i=1|x)+(1-y)lnP(y_i=0|x)]$

要使似然函数最大，损失函数$L=-lnP=-{\sum }_{i=1}^m[y_{i}lng(z)+(1-y_i)ln(1-g(z))]$，即为交叉熵损失。

通过梯度下降求最优解，需要每一步更新参数${\theta }_j:={\theta }_j-\frac{\partial L}{\partial {\theta }_j}$

$\frac{\partial L}{\partial {\theta }_j}=\frac{\partial L}{\partial g(z)}\frac{\partial g(z)}{\partial z}\frac{\partial z}{\partial {\theta }_j}=-{\sum }_{i=1}^m[y_i\frac{1}{g(z)}$