第五章-Linear线性回归和Logistic逻辑回归复习

线性回归（Linear Regression）

线性回归模型是指采用线性组合形式的回归模型。在线性回归问题中，因变量和自变量之间是线性关系的。

线性回归的计算过程与相应公式：

逻辑回归（Logistic Regression）  

线性回归是用于预测连续值，做预测；而逻辑回归是预测离散值，即是用来分类的。

分类任务：1.The MNIST Dataset

手写数字数据集，包含训练集： 60000样本；测试集：10000样本，共 10类别

 

 torchvision库里面包含有一些常用的数据集。

 

2.The CIFAR-10 dataset

• Training set: 50,000 examples

• Test set: 10,000 examples

• Classes: 10 

 

广义线性回归模型使用非常广泛。例如在二元分类任务中，我们的目标是拟合这样一个分离超平面𝑓(𝒙) = 𝒘⊤𝒙 + 𝑏，使得目标分类𝑦可表示为以下

但是在分类问题中，由于 𝑦 取离散值，这个阶跃判别函数是不可导的。不可导的性质

使得许多数学方法不能使用。我们考虑使用一个函数 𝜎(⋅) 来近似这个离散的阶跃函数，

通常可以使用 logistic 函数。（ Sigmoid 函数）

损失函数：

• MSE loss：计算数值之间的差异。        • BCE loss：计算分布之间的差异。

Mini-Batch loss：BCE loss 求均值

分析：如果y=1，1-y=0,loss=-log y_hat,需要 loss尽可能小，那么y_hat就要尽可能大，即尽可能接近1. 如果y=0，1-y=1，loss=-log(1-y_hat）,需要loss尽可能小，那么y_hat值越接近0越好。（log 1=0）。

实现：

sigmoid函数：

 

sigmoid 函数在 x 无限趋近于正无穷、负无穷时，y 无线趋近于 1 、 0 ； 可以看到当x 非常大或者非常小的时候，函数梯度变化就非常小了。这 种函数称为饱和函数 。

逻辑回归模型：只是在线性回归之后加了一个sigmoid激活函数！将值映射在【0，1】之间。 

 • 在之前的回归任务中，我们是预测分值是多少;
• 在分类任务中就可以变成根据学习时间判断是否能通过考试，即结果分为两类：fail、pass。
• 我们的任务就是计算不同学习时间x分别是fail、pass的概率。（二分类问题其实只需要计算一个概率；另一个概况就是1-算的概率）
• 如果预测pass概率为0.6，fail概率就是0.4，那么判断为pass。 

逻辑回归的四个步骤： 1.准备数据集2.设计模型3.定义损失函数和优化器4.模型训练 

代码及其结果显示：

运用线性回归运算对应的w和loss的结果及其代码

 

 

运用逻辑回归预测时间与考试通过率的图像及代码