PyTorch实现逻辑回归模型

  逻辑回归是线性的二分类模型。
$$模型表达式：y=f(WX+b)，f(x)=\frac{1}{1+e^{-x}}$$
　　𝑓(x)称为Sigmoid函数，也称为 Logistic 函数，作用是将输入数据映射到[0, 1]之间。

x = torch.arange(-10, 10, 0.2)
y = torch.sigmoid(x)
plt.plot(x.data.numpy(), y.data.numpy(), lw=5)
plt.xlim(-10, 10)
plt.ylim(0, 1)
plt.vlines(0, 0, 1, linestyles="--", colors='gray')
plt.hlines(0.5, -10, 10, linestyles="--", colors='gray')
plt.show()

　　$$二分类方法：class=\{\begin{array}{ll}1& ,y>0.5\\ 0& ,y\le 0.5\end{array}$$
　　线性回归是分析自变量x与因变量y（标量）之间关系的方法。
　　逻辑回归是分析自变量x与因变量y（概率）之间关系的方法。
　　假如没有激活函数f(x)，单纯用y = WX + b，其实也可以进行二分类，对应图像可以看出，WX + b > 0时判别为类别1，WX + b ≤ 0时判别为类别0。为了更好的描述分类置信度，所以采用Sigmoid函数将输出映射到[0，1]，符合概率取值。
　　逻辑回归也叫对数几率回归。几率就是$\frac{y}{1-y}$，表示样本x为正样本的可能性。对几率取对数，就得到了对数几率$ln\frac{y}{1-y}$。线性回归y = WX+b是用WX+b去拟合y，$ln\frac{y}{1-y}=WX+b$为逻辑回归模型表达式的恒等变形，是用WX+b去拟合对数几率，因此叫做对数几率回归。

import torch
import matplotlib.pyplot as plt
import torch.nn as nn
import numpy as np

torch.manual_seed(10)

# 生成数据
sample_num = 100
mean = 1.7
bias = 1
n_data = torch.ones(sample_num, 2)
x0 = torch.normal(mean * n_data, 1) + bias  # 类别0的数据
y0 = torch.zeros(sample_num)  # 类别0的标签
x1 = torch.normal(-mean * n_data, 1) + bias  # 类别1的数据
y1 = torch.ones(sample_num)  # 类别1的标签
train_x = torch.cat((x0, x1), 0)
train_y = torch.cat((y0, y1), 0)


# 选择模型
class LR(nn.Module):  # 用nn.Module构建逻辑回归模型类
    def __init__(self):
        super(LR, self).__init__()
        self.features = nn.Linear(2, 1)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):  # 前向传播函数
        x = self.features(x)
        x = self.sigmoid(x)
        return x


lr_net = LR()  # 实例化逻辑回归模型

# 损失函数
loss_fn = nn.BCELoss()  # 二分类的交叉熵函数

# 优化器
lr = 0.01  # 学习率
optimizer = torch.optim.SGD(lr_net.parameters(), lr=lr, momentum=0.9)

# 迭代训练
for i in range(1000):
    y_pre = lr_net(train_x)  # 前向传播
    loss = loss_fn(y_pre.squeeze(), train_y)  # 计算loss
    loss.backward()  # 反向传播
    optimizer.step()  # 更新参数

    mask = y_pre.ge(0.5).float().squeeze()  # 以0.5为阈值进行分类
    correct = (mask == train_y).sum()  # 正确预测的样本个数
    acc = correct.item() / train_y.size(0)  # 计算分类准确率

    # 绘图
    if i == 999 or acc > 0.99:
        plt.scatter(x0.data.numpy()[:, 0], x0.data.numpy()[:, 1], c="r", label='class 0')
        plt.scatter(x1.data.numpy()[:, 0], x1.data.numpy()[:, 1], c="b", label='class 1')

        w0, w1 = lr_net.features.weight[0]
        w0, w1 = float(w0.item()), float(w1.item())
        plot_b = float(lr_net.features.bias[0].item())
        plot_x = np.arange(-6, 6, 0.1)
        plot_y = (-w0 * plot_x - plot_b) / w1

        plt.xlim(-5, 7)
        plt.ylim(-7, 7)
        plt.plot(plot_x, plot_y)

        plt.text(-5, 5, 'loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color': 'red'})
        plt.title('i:{} w0:{:.2f} w1:{:.2f} b:{:.2f} acc:{:.2%}'.format(i, w0, w1, plot_b, acc))
        plt.legend()
        plt.pause(0.5)
        break

　　如果把mean调整得更小，例如1或者0.5，会发现样本点有部分重合，即使训练到最后，准确率也很低；如果把mean调整得更大，例如5，会发现样本点分布很明显，更容易分类。
　　如果把bias调整成绝对值很大的数，例如5，会发现不管怎么训练模型都无法分类，这是因为，从sigmoid图像中可以看出，如果数据比较大的时候，梯度几乎为0，反向传播求导无法求到一个很好的梯度，所以没有办法训练模型，这种情况称为梯度消失。
　　所以我们要对数据进行归一化处理，让它们处于0附近。