深度学习-逻辑斯蒂回归Logistic_Regression-自用笔记5
逻辑斯蒂回归与线性回归做对比
线性回归:
Affine Model:𝑦^ = 𝑥 ∗ 𝜔 + 𝑏
Loss Function:𝑙𝑜𝑠𝑠 = (ො 𝑦 − 𝑦)2= (𝑥 ∙ 𝜔 − 𝑦)2
线性回归是做一个线性的预测。
逻辑斯蒂回归:
Logistic Regression Model:𝑦 = 𝜎(𝑥 ∗ 𝜔 + 𝑏)
Loss Function for Binary Classification:
𝑙𝑜𝑠𝑠 = −(𝑦log 𝑦^ + (1 − 𝑦)log(1 − 𝑦^))
逻辑斯蒂回归用于分类,输出的是属于哪一个种类class的概率,例如例子就是学习一个小时,不能通过考试属于class=0;
学习两个小时,不能通过考试属于class=0;
学习三个小时,不能通过考试属于class=1。
判断学习四个小时属于哪一类?
逻辑斯蒂回归与线性回归的计算图的区别
第一个区别
逻辑斯蒂回归比线性回归多了一个激活函数,计算图如下
激活函数采用的是𝜎(𝑥) =1 /(1 + 𝑒−𝑥),函数值处于0-1之间。
除了这个激活函数,还采用其他激活函数:
第二个区别
损失函数不一样,逻辑斯蒂回归损失函数采用的是交叉熵损失函数
Mini-Batch Loss Function for Binary Classification
用于二分类的小批量数据的损失函数
逻辑斯蒂回归与线性回归的pytorch代码的区别
下图中标红的字体
整个代码
测试模型的代码 文件名:train.py
import torch
import torch.nn.functional as F
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])
# ------------------------------------------------------- #
class LogisticRegressionModel(torch.nn.Module):
def __init__(self):
super(LogisticRegressionModel, self).__init__()
self.linear = torch.nn.Linear(1, 1)
def forward(self, x):
y_pred = F.sigmoid(self.linear(x))
return y_pred
model = LogisticRegressionModel()
# ------------------------------------------------------- #
criterion = torch.nn.BCELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
# ------------------------------------------------------- #
for epoch in range(1000):
y_pred = model(x_data)
loss = criterion(y_pred, y_data)
print(epoch, loss.item())
optimizer.zero_grad()
loss.backward()
optimizer.step()
代码 文件名:test.py
import numpy as np
import matplotlib.pyplot as plt
import train
import torch
x = np.linspace(0, 10, 200)
x_t = torch.Tensor(x).view((200, 1))
y_t = train.model(x_t)
y = y_t.data.numpy()
plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], c='r')
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid() plt.show()
其他数据集
其他数据集
代码
import torchvision
train_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=True, download=True)
test_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=False, download=True)
torchvision中包含一些常用的数据集如:The MNIST Dataset手写数字集、 The CIFAR-10 dataset。
第一次使用时会从网上自动下载数据集,下载到指定的文件路径中root=’…/dataset/mnist’。
如果是用来数据训练则表明train=True,下载download=True。