机器学习-逻辑回归

逻辑回归

    逻辑回归是统计学习中的经典分类方法，属于对数线性模型。

1 逻辑回归

    设$X$是连续随机变量，$X$服从逻辑分布是指$X$具有下列分布函数和密度函数：
$$F(x)=P(X\le x)=\frac{1}{1+e^{-(x-\mu )/\gamma }}$$
$$f(x)=F^{{}^{\prime }}(x)=\frac{e^{-(x-\mu )/\gamma }}{\gamma (1+e^{-(x-\mu )/\gamma }{)}^2}$$
    其中，$\mu$为位置参数，$\gamma$ 为形状参数。

2 二项逻辑回归模型

    二项逻辑回归模型是如下的条件概率分布：
$$P(Y=1|x)=\frac{e^{wx+b}}{1+e^{wx+b}}$$
$$P(Y=0|x)=\frac{1}{1+e^{wx+b}}$$
    如果时间发生的概率是$p$，那么该事件的几率是$\frac{p}{1-p}$，该事件的对数几率：
$$logit(p)=log\frac{p}{1-p}$$

3 模型参数估计

    设：
$$P(Y=1|x)=\pi ,P(Y=0|x)=1-\pi$$
    似然函数为：
$$\prod _{i=1}^N[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i}$$
    对数似然函数为：
$$L(w)=\sum _{i=1}^N[y_{i}log\pi (x_i)+(1-y_i)log(1-\pi (x_i))]$$
$$=\sum _{i=1}^N[y_{i}log\frac{\pi (x_i)}{1-\pi (x_i)}+log(1-\pi (x_i)]$$
$$=\sum _{i=1}^N[y_i(w{x}_i)-log(1+e^{w{x}_i})]$$
    对$L(w)$求极大值，得到$w$的估计值。
    这样问题就转换成了以对数似然函数为目标函数的最优化问题。通常采用梯度下降法和拟牛顿法。

4 多项逻辑回归

    二项逻辑回归模型用于二分类，将其推广到多项逻辑回归模型：
$$P(Y=k|x)=\frac{e^{w_{k}x}}{1+{\sum }_{k=1}^{K-1}{e}^{w_{k}x}},k=1,2,3...K-1$$
$$P(Y=K|x)=\frac{1}{1+{\sum }_{k=1}^{K-1}{e}^{w_{k}x}}$$