深度学习&PyTorch笔记 （2) logistic 回归

logistic 适用于分类问题。
同之前引入所需要的库

import torch
import torch.nn as nn
from torch.autograd import Variable
import numpy as np
import matplotlib.pyplot as plt

建立模型，使用Sigmoid函数

class LogisticRegression(nn.Module):
    def __init__(self):
        super(LogisticRegression, self).__init__()
        self.lr = nn.Linear(2, 1)
        self.sm = nn.Sigmoid()

    def forward(self, x):
        x = self.lr(x)
        x = self.sm(x)
        return x

实例化，选择损失函数和优化函数。
由于选择的是Sigmoid函数，所以损失函数选择BCE，公式为

????=−(?∗???(?̂)+(1−?)∗???(1−?̂))loss=−(y∗log(y^{)+(1−y)∗log(1−y}))
优化方式还是选择梯度下降法，找到损失函数的梯度，沿着梯度的方向进行优化，以便找到损失的极小值，来确定参数。

logistic_model = LogisticRegression()
criterion = nn.BCELoss()
optimizer = torch.optim.SGD(logistic_model.parameters(), lr=1e-3, omentum=0.9)

开始训练

for epoch in range(50000):
    x = Variable(x_data)
    y = Variable(y_data）
    # forward

    out = logistic_model(x)
    loss = criterion(out, y)
    print_loss = loss.item()
    mask = out.ge(0.5).float()
    correct = (mask == y).sum()
    acc = correct.item() / x.size(0)
    # backward

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

最后的结果如下：

w0, w1 = logistic_model.lr.weight[0]
w0 = w0.item()
w1 = w1.item()
b0 = logistic_model.lr.bias.item()

plot_x = np.arange(30, 100, 0.1)
plot_y = (-w0 * plot_x - b0) / w1

分类结果

总结：线性回归和Logistic回归均是选择合适的模型及损失函数，通过某种优化方式对损失函数进行优化，找到损失函数最小的点，确定模型的参数。