【学习笔记】逻辑回归

逻辑回归不是回归
由线性回归所知，回归主要处理连续型变量。而逻辑回归处理类别型变量，因此用于分类问题，就是用回归的办法来做分类。

举例
我们可以利用一个人饮食、睡眠等因素，预测这个人肿瘤的大小（回归问题），然后利用肿瘤大小阈值判定恶性还是良性（分类问题）

我们先利用简单线性回归的思路，利用肿瘤大小，预测这个肿瘤是良性还是恶性。

由上图所示，x轴为肿瘤大小，0代表良性肿瘤，1代表恶性肿瘤。
红×代表一个个例，粉线是回归出的函数图像，绿线是区分良性恶性的阈值
取一个概率为0.5的肿瘤大小作为阈值,假如值为y，肿瘤大小超过y为恶性肿瘤（恶性肿瘤概率大于0.5），小于y为良性，这就实现了一个简单二分类。

但要是有离群值（异常值）的出现呢？

这时候就会出现错误了，因为我们拟合的回归函数太直了，要利用非线性的函数，才能更好地拟合这些数据。

数学公式
x代表数据， Θ代表参数，就是多元线性回归的估计方程，只是参数换了个字符

为了描述方便，我们将上述公式用下面这个表示

上面这些公式是描述线性回归的，是直的，那我们要整成非线性怎么弄呢？利用sigmod函数（还有其他函数），公式如下：

因此，我们的公式变成了非线性的函数：

函数输出的结果是个例预测为1的概率，预测为0的概率只需用1减去hx即可
y=1的概率：

y=0的概率：

两个式子合起来：yi为个例的ground truth 标签（此例标签取值只有0和1,1时1-yi为0,0时yi=0）

例如预测个例1，预测其为1的概率为0.7,因此0的概率为0.3，其gt标签为1，因此P=0.7，就是说我们有0.7的概率预测正确
同样，预测个例2，预测其为1的概率为0.7,因此0的概率为0.3，其gt标签为0，因此P=0.3，就是说我们有0.3的概率预测正确

损失函数
现在问题来了，我们到现在只说了逻辑回归是咋工作的，还没说怎么才能拟合出一个好的函数，即不要忘了我们要得到一个合适的Θ

回顾一下，我们要得到一个好的线性回归函数，要保证的是找到合适的Θ使误差平方和最小

同样，逻辑回归是找到合适的Θ，使下面这个公式最小（交叉熵损失函数）

这都是些啥啊？我们一步一步推出来

推导过程
首先，上面我们已经知道了个例预测正确的概率怎么算

对于m个个例的样本总体，都预测正确的概率：

此时我要保证这个概率越大越好，越大说明我们总体预测的越准确。
因此我们的目的是计算出一组Θ，使总体预测正确的概率最大。

第二，由于连乘不好计算，因此转换为log，用加法表示

得到的这个函数越大,证明我们得到的Θ就越好.因为在函数最优化的时候习惯让一个函数越小越好,所以我们在前边加一个负号.得到公式如下:

推导结束~

梯度下降
那么这Θ怎么求呢？我们选择使用梯度下降的算法

α为学习率
简单说，梯度下降就是求偏导

交叉熵损失函数的梯度和最小二乘的梯度形式上完全相同，仅仅是交叉熵的hx经过了sigmod函数处理
最后Θ更新法则如下：

Python实现

import numpy as np
import random

# 创建数据
def genData(numPoints,bias,variance):
    x = np.zeros(shape=(numPoints,2))
    y = np.zeros(shape=(numPoints))
    for i in range(0,numPoints):
        x[i][0]=1
        x[i][1]=i
        y[i]=(i+bias)+random.uniform(0,1)+variance
    return x,y

# 梯度下降
def gradientDescent(x,y,theta,alpha,m,numIterations):
    xTran = np.transpose(x)
    for i in range(numIterations):
        hypothesis = np.dot(x,theta)
        loss = hypothesis-y
        cost = np.sum(loss**2)/(2*m)
        gradient=np.dot(xTran,loss)/m
        theta = theta-alpha*gradient
        print ("Iteration %d | cost :%f" %(i,cost))
    return theta

x,y = genData(100, 25, 10)
print("x:", x)
print("y:", y)

m,n = np.shape(x)
n_y = np.shape(y)

print("m:"+str(m)+" n:"+str(n)+" n_y:"+str(n_y))

numIterations = 100000
alpha = 0.0005
theta = np.ones(n)
theta= gradientDescent(x, y, theta, alpha, m, numIterations)
print(theta)

参考文献
逻辑回归