1、线性模型
用于建立输入与输出特征之间的线性关系,假设输入与输出特征存在一个线性关系。目标是通过学习不断的更新权重参数,使损失函数越来越小,预测值和真实值越接近。
在这里插入图片描述
可以看出,当权重位2.0的时候,loss是最小的
2、梯度下降
梯度下降是一种优化算法,常用于机器学习和数值优化中。它的目标是通过迭代的方式找到一个函数的局部最优解或全局最优解,梯度就是导数,梯度下降法就是一种通过求目标函数的导数来寻找目标函数最小化的方法。梯度下降目的是找到目标函数最小化时的取值所对应的自变量的值,目的是为了找自变量X。
在这里插入图片描述
请添加图片描述
3、反向传播
通过计算损失函数关于网络参数的梯度,然后利用梯度信息更新网络参数,使得网络能够逐步优化和学习。反向传播算法的核心思想是根据损失函数的梯度,将误差从网络的输出层向输入层进行反向传播,然后利用梯度信息来调整网络参数,使得网络能够逐渐优化和学习任务中的模式和特征。
4、使用Pytorch实现线性回归
在这里插入图片描述
5、使用Pytorch实现逻辑回归
5.1、二分类问题
在这里插入图片描述
5.2、多维输入二分类问题
数据集格式
在这里插入图片描述
5.3、加载数据集类
5.4、多分类问题(使用线性模型)
手写字识别
在这里插入图片描述
5.5、多分类问题(使用卷积神经网络)
卷积神经网络(Convolutional Neural Network,CNN)是一种常用于处理具有网格结构数据的深度学习模型。它在计算机视觉领域取得了巨大成功,并被广泛应用于图像分类、目标检测、图像生成等任务。
CNN的设计灵感来源于生物视觉系统中神经元的工作原理。它通过多层的卷积层、池化层和全连接层构成,每一层都包含一些可学习的参数(权重和偏置),用于从原始输入数据中提取和学习特征。请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
下面是CNN的主要组成部分和工作原理:
1、卷积层(Convolutional Layer):卷积层是CNN的核心组成部分。它通过卷积操作对输入数据进行特征提取。卷积操作使用一个可学习的滤波器(或称为卷积核)对输入数据进行局部感知,并生成特征图(Feature Map)。卷积层的参数包括滤波器的大小、步长(stride)和填充(padding)等。
2、激活函数(Activation Function):卷积层之后通常会使用激活函数对特征图进行非线性变换,以增加网络的表达能力。常用的激活函数包括ReLU(Rectified Linear Unit)、Sigmoid和Tanh等。
3、池化层(Pooling Layer):池化层用于减小特征图的空间尺寸,并降低模型对位置的敏感性。常用的池化操作为最大池化(Max Pooling),它在每个池化窗口中选择最大值作为输出。
4、全连接层(Fully Connected Layer):全连接层将前一层的所有特征图连接到当前层的每个神经元,用于进行分类或回归等任务。全连接层通常位于网络的最后几层,用于将特征整合为最终的输出。
5.6、多分类问题(使用InceptionA模块)
Inception是一个流行的卷积神经网络模型系列,被广泛用于图像分类和目标识别等计算机视觉任务。它的设计目标是在保持计算效率的同时增加网络的表示能力。该模块通过在不同尺度上进行卷积操作,并将它们的输出进行拼接,以捕捉输入数据的多尺度特征。
请添加图片描述
请添加图片描述
1、1x1卷积:InceptionA模块的第一个分支是一个1x1卷积层,用于减少输入特征图的通道数。这有助于减少计算量,并引入非线性变换。
2、3x3卷积:InceptionA模块的第二个分支是一个3x3卷积层,用于捕捉输入特征图的空间信息。
3、5x5卷积:InceptionA模块的第三个分支是一个5x5卷积层,用于捕捉更大感受野的特征。
4、1x1卷积(降维):为了减少计算复杂度,InceptionA模块在3x3和5x5卷积之前引入了1x1卷积层,用于减少通道数。
最大池化:InceptionA模块的最后一个分支是一个最大池化层,用于捕捉输入特征图的空间信息,并减小尺寸。
5.7、多分类问题(使用Residual模块)
Residual指的是残差(residual)连接或残差块(residual block),它是一种用于构建深层神经网络的技术,旨在解决梯度消失和网络退化的问题。Residual连接的核心思想是引入跨层的直接连接,使得网络可以学习残差函数,从而更容易地训练深层网络。
在传统的神经网络中,网络的每一层都是通过将前一层的输出作为输入来构建的。然而,当网络变得很深时,信息在经过多个层传播时可能会逐渐衰减,导致梯度消失的问题。这使得深层网络的训练变得困难,同时也限制了网络的性能。
Residual连接通过在网络中引入跳跃连接,允许信息在网络中直接跨层传播。具体地,Residual连接将前一层的输出与当前层的输入相加,从而形成了一个"残差"。这个残差函数表示当前层需要学习的部分,而网络只需要学习如何调整残差,而不是完全重建特征。
请添加图片描述