线性回归(Linear Regression)
线性回归模型是指采用线性组合形式的回归模型。在线性回归问题中,因变量和自变量之间是线性关系的。
线性回归的计算过程与相应公式:
逻辑回归(Logistic Regression)
线性回归是用于预测连续值,做预测;而逻辑回归是预测离散值,即是用来分类的。
分类任务:1.The MNIST Dataset
手写数字数据集,包含训练集: 60000样本;测试集:10000样本,共 10类别
torchvision库里面包含有一些常用的数据集。
2.The CIFAR-10 dataset
• Training set: 50,000 examples
• Test set: 10,000 examples
• Classes: 10
损失函数:
• MSE loss:计算数值之间的差异。 • BCE loss:计算分布之间的差异。
Mini-Batch loss:BCE loss 求均值
分析:如果y=1,1-y=0,loss=-log y_hat,需要 loss尽可能小,那么y_hat就要尽可能大,即尽可能接近1. 如果y=0,1-y=1,loss=-log(1-y_hat),需要loss尽可能小,那么y_hat值越接近0越好。(log 1=0)。
sigmoid函数:
逻辑回归模型:只是在线性回归之后加了一个sigmoid激活函数!将值映射在【0,1】之间。
• 在之前的回归任务中,我们是预测分值是多少;
• 在分类任务中就可以变成根据学习时间判断是否能通过考试,即结果分为两类:fail、pass。
• 我们的任务就是计算不同学习时间x分别是fail、pass的概率。(二分类问题其实只需要计算一个概率;另一个概况就是1-算的概率)
• 如果预测pass概率为0.6,fail概率就是0.4,那么判断为pass。
逻辑回归的四个步骤: 1.准备数据集2.设计模型3.定义损失函数和优化器4.模型训练
代码及其结果显示: