《PyTorch深度学习实践》 课堂笔记 Lesson6 使用PyTorch实现Logistic回归

---

1.交叉熵

若存在两个分布$P_{D_1}\left(x\right),P_{D_2}\left(x\right)$交叉熵可以由以下公式表示：

$$\sum _i{P}_D\left(x=i\right)\cdot \ln \left(P_T\left(x=i\right)\right)$$

交叉熵可以用来衡量两个分布时间的相似性它的值越大，两个分布越相似，这个思想可用到我们的回归思想中，即预测值与实际值的分布越相似，效果越好

又由于要与前面模型的损失函数类似（在画损失函数图的时候loss函数呈现一个下降的方式（越小越好）），我们再在交叉熵的前面加上负号，所以后最终损失函数如下：

$$-\sum _{i=1}^N\left(y\log \hat{y}+\left(1-y\right)\log \left(1-\hat{y}\right)\right)$$

---

2.线性回归和Logistic回归的区别

若设回归方程为$y=wx+b$则有
Logistic损失函数称为BCE(Binary Cross Entropy)

对比	线性回归	Logistic回归
损失函数（loss func）	$loss=(\hat{y}-y{)}^2=(xw-y{)}^2$	$loss=-(ylog\hat{y}+(1-y)log(1-\hat{y})$
函数输出	几何数值（直接通过大小衡量）	通过二进制交叉熵直接比较两个分布的差异性
正向指标	越小越好	越小越好（$y与\hat{y}$的分布越接近越好）

---

3.实现过程

3.1源代码

# -*- coding:utf-8 -8-
"""
Author: FeverTwice
Date: 2021--08--03
"""

# import torch.nn.functional as F
import torch
import numpy as np
import matplotlib.pyplot as plt

#数据集导入
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])

#==========================================================#

# 定义函数模块
class LogsticRegressionModel(torch.nn.Module):
    # 构造函数部分
    def __init__(self):
        super(LogsticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)

    # 在function包上面调用sig函数
    def forward(self, x):
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred

model = LogsticRegressionModel()

#==========================================================#

#构造logstic回归递归函数，并设置不用求和
criterion = torch.nn.BCELoss(size_average=False)

#选择优化方法
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 存储迭代数值
lost_vector = []
epoch_vect = np.arange(1, 1001)

#=================下面部分与上一章节的源代码的迭代部分相同========================

# 迭代训练循环
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())
    lost_vector.append(loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())

x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.data.item())

# 画图
plt.plot(epoch_vect,lost_vector)
plt.show()

---

3.2训练结果

---

写在最后

本文章为《PyTorch深度学习实践》完结合集课程对应的一些课后习题解答，仅为各位同志学习参考之用

各位看官，都看到这里了，麻烦动动手指头给博主来个点赞8，您的支持作者最大的创作动力哟！ ＜（＾－＾）＞
才疏学浅，若有纰漏，恳请斧正
本文章仅用于各位同志作为学习交流之用，不作任何商业用途，若涉及版权问题请速与作者联系，望悉知