机器学习——逻辑回归

前言

        逻辑回归(Logistic Regression)虽然名字叫回归，然而是一种用于分类的机器学习算法。逻辑回归的本质就是一个线性分类模型，它通过一个非线性化映射输出一个概率值来评判分类的标准。
        逻辑回归使用Sigmoid函数作为假设函数：
$$h_{\theta }(x_i)=g({\theta }^T{x}_i)=\frac{1}{1+e^{-{\theta }^T{x}_i}}$$
        其中，$g(z)$的图像如下：

        对$g(z)=1/(1+e^{-z})$求导可得：
$$g(z{)}^{\prime }=g(z)(1-g(z))$$

算法原理

        逻辑回归假设数据服从伯努利分布，从上图可以知道，Sigmoid的函数输出是介于（0，1）之间的，中间值是0.5，在二分类情况下，对于某个样本x，$h_{\theta }(x)$<0.5表示x属于A类，$h_{\theta }(x)$>0.5，表示x属于B类。我们以$h_{\theta }(x)$的值表示事件1发生的概率。
$$p(y=1|x;\theta )=h_{\theta }(x)$$
$$p(y=0|x;\theta )=1-h_{\theta }(x)$$
        接下来需要求解参数$\theta$，对参数$\theta$的估计我们采用梯度上升法，因为求偏导数求解参数$\theta$不能得到解析解。接下来我们来看关于$\theta$的极大似然估计。
        $\theta$的极大似然估计
        根据上式，接下来我们可以使用概率论中极大似然估计的方法去求解损失函数，首先得到概率函数为：
$$p(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$$
        因为样本数据(m个)独立，所以它们的联合分布可以表示为各边际分布的乘积,取似然函数为：
$$L(\theta )=\prod _{i=1}^{m}p(y_i|x_i;\theta )=\prod _{i=1}^m[h_{\theta }(x_i){]}^{y_i}[1-h_{\theta }(x_i){]}^{1-y_i}$$
        取对数似然函数:
$$\ell (\theta )=logL(\theta )=\sum _{i=1}^m{y}_{i}log{h}_{\theta }(x_i)+(1-y_i)log(1-h_{\theta }(x_i))$$
        对数似然函数求偏导数:
$$\begin{gathered} \frac{\partial \ell (\theta )}{\partial {\theta }_j}=\sum _{i=1}^m\frac{y_i}{h_{\theta }(x_i)}\frac{\partial h_{\theta }(x_i)}{\partial {\theta }_j}-\frac{1-y_i}{1-h_{\theta }(x_i)}\frac{\partial h_{\theta }(x_i)}{\partial {\theta }_j} \\ =\sum _{i=1}^m\frac{y_i}{g({\theta }^T{x}_i)}\frac{\partial g({\theta }^T{x}_i)}{\partial {\theta }_j}-\frac{1-y_i}{1-g({\theta }^T{x}_i)}\frac{\partial g({\theta }^T{x}_i)}{\partial {\theta }_j} \\ =\sum _{i=1}^m\frac{y_i}{g({\theta }^T{x}_i)}g({\theta }^T{x}_i)[1-g({\theta }^T{x}_i)]\frac{\partial {\theta }^T{x}_i}{\partial {\theta }_j}-\frac{1-y_i}{1-g({\theta }^T{x}_i)}g({\theta }^T{x}_i)[1-g({\theta }^T{x}_i)]\frac{\partial {\theta }^T{x}_i}{\partial {\theta }_j} \\ =\sum _{i=1}^m{y}_i[1-g({\theta }^T{x}_i)]x_{ij}-(1-y_i)g({\theta }^T{x}_i)x_{ij} \\ =\sum _{i=1}^m(y_i-g({\theta }^T{x}_i))x_{ij}=\sum _{i=1}^m(y_i-h_{\theta }(x_i))x_{ij} \end{gathered}$$
        令求偏导数的结果等于0，不能显示求得参数的值，所以我们使用梯度上升法求解似然函数最大时$\theta$的值。
$\theta$梯度上升
$${\theta }_j:={\theta }_j+\alpha {\nabla }_{{\theta }_j}\ell (\theta )$$
$${\theta }_j:={\theta }_j+\alpha \sum _{i=1}^m(y_i-h_{\theta }(x_i))x_{ij}$$

代码实现

def sigmoid(x):
    return 1.0 / (1.0 + np.exp(-x))
    
# 逻辑回归，批量梯度上升
def LogisticsRegession(X, Y, alpha, iternum):
    samplesnum, sampleFeature = np.shape(X)
    weights = np.ones((sampleFeature, 1))
    for i in range(iternum):
        hx = sigmoid(X @ weights)
        weights += alpha * X.T @ (Y - hx)
    return weights

 def accuracyRate(weights, x, y):
    numSamples = np.size(x, 0)
    hx = sigmoid(x @ weights)
    print(hx)
    hx = hx > 0.5
    hx = hx == y
    print('逻辑回归模型准确率为{0}%'.format(hx.sum() / numSamples * 100))

实验结果