深度学习day06 逻辑斯蒂回归

前置知识

0. 以糖尿病病人预测为例
1. 预测的是离散的值属于分类问题，预测的是连续的值属于回归问题。
2. 逻辑斯蒂回归是分类的模型。通过预测出输出值属于0～9各个数字的概率，而达到分类的目的。为什么对于The MNIST Dataset不能用线性回归模型，因为线性模型是输出的7、8、9并不是像数字在一维数组中有那样的递增性，输入的数字7和9反而比7和8更接近。
3. 逻辑斯蒂回归和线性模型的明显区别是在线性模型的后面，添加了激活函数(本文中用的是Sigmoid)
4. 因为这次的结果不是说两个标量值，而是两个分布，所以不能用均方误差损失，那么对于这种比较两种分布的差异，我们可以使用：KL散度，cross-entropy交叉熵
   Sigmoid函数：
   
   逻辑斯蒂回归计算图：
   
   二分类的两种损失函数：预测与标签越接近，BCE损失越小
   

详细代码

1. 视频中代码F.sigmoid(self.linear(x))会引发warning，此处更改为torch.sigmoid(self.linear(x))
2. BCELoss 是CrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntropyLoss可以用于二分类，也可以用于多分类。 如果是二分类问题，建议BCELoss

import torch
# import torch.nn.functional as F
 
# 步骤一：prepare dataset
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])
 
# 步骤二：design model using class
class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        super(LogisticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1,1) #初始化w和b
 
    def forward(self, x):
        # y_pred = F.sigmoid(self.linear(x))
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred
model = LogisticRegressionModel()
 
# 步骤三：construct loss and optimizer
# 默认情况下，loss求的是小批量loss的平均loss，如果size_average=False的话，loss会被累加但不乘1/N。
criterion = torch.nn.BCELoss(size_average = False) 
optimizer = torch.optim.SGD(model.parameters(), lr = 0.01)
 
# 步骤四：training cycle forward, backward, update
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())
 
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# 打印一个预测查看
print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())
 
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data)

# 打印200个预测并画图查看
x = np.linspace(0, 10, 200)
x_t = torch.Tensor(x).view((200, 1))
y_t = model(x_t)
y = y_t.data.numpy()
plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], c='r')
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid()
plt.show()